论文
CoQuant：混合精度 LLM 的联合权重激活子空间投影
CoQuant: Joint Weight-Activation Subspace Projection for Mixed-Precision LLMs
摘要
后训练量化（PTQ）已成为降低大语言模型（LLM）推理成本的重要技术。虽然最近的混合精度方法通过以高精度保留关键子空间来改进超低位量化，但它们通常仅依赖于激活统计来构建这些子空间。这忽略了线性运算的基本性质，其中输出扰动由激活和权重量化噪声共同驱动。在本文中，我们提出了 CoQuant，一种联合权重激活子空间投影方法。通过对预期输出误差进行理论上建模，CoQuant 制定了一个封闭式加权 PCA 解决方案，该解决方案平衡激活和权重协方差以选择最优的高精度子空间。对 Llama-3.2 和 Qwen2.5 模型的大量实验表明，CoQuant 在 WikiText 困惑度和零样本常识推理准确性方面始终优于强大的 PTQ 基线。这些结果表明，联合权重激活子空间建模为低位 LLM 量化提供了原则性且有效的方向。源代码可在 https://github.com/Zachary5895/CoQuant 获取。