KronQ：LLM 通过克罗内克因子 Hessian 量化

后训练 量化（PTQ）是一种广泛采用的技术，用于压缩 大语言模型（LLM）而无需重新训练。大多数现有的二阶 PTQ 方法（包括 GPTQ）从输入激活统计数据构建量化目标，有效地假设所有输出通道对逐层重建目标的贡献相同。我们提出了 KronQ，这是一个 PTQ 框架，它通过将梯度协方差引入量化管道来挑战这一假设。在克罗内克分解的 Hessian 近似下，量化损失共同取决于激活和梯度协方差，并且 KronQ 在两个互补级别上利用了这一点。 (1) KronQ引入双向不相干处理，利用梯度协方差将现有的输入侧随机旋转扩展到输出维度，减少输入和输出维度上的权重幅度方差。 (2) KronQ 在梯度和激活 Hessian 迹的驱动下，导出了一种新的层间混合精度分配灵敏度度量。值得注意的是，在 LLaMA-3-70B 上仅进行 2 位权重量化的情况下，虽然 GPTQ 和 GPTAQ 发散或产生简并量化（WikiText-2 上的困惑度 >2000），但 \KronQ{} 的困惑度达到 7.93。