OSAQ：用于精确低位 LLM 量化的异常值自吸收

大语言模型（LLM）展现了非凡的能力。然而，它们庞大的参数规模导致推理过程中大量的资源消耗和延迟。 后训练 仅权重量化通过减少模型大小并通过缓解内存限制问题加速词元生成，提供了一种有前途的解决方案。然而，权重中固有的系统异常值的存在仍然是一个主要障碍。虽然现有的方法（例如缩放和旋转）试图解决这个问题，但性能仍然不令人满意。在本文中，我们提出了离群自吸收量化（OSAQ），它在二阶低秩属性的指导下执行加性权重抑制，用于 LLM 的低位仅权重量化。具体来说，我们观察到 Hessian 矩阵在不同输入之间表现出低秩一致性，某些方向始终显示曲率消失。利用这一特性，我们确定了 Hessian 的稳定零空间，然后通过线性组合该零空间内的向量来构造加性权重变换，从而在不影响任务损失的情况下抑制权重异常值。这种加性变换可以离线吸收到权重中，不需要层间变换，也不会引入推理开销。此外，构建是通过封闭式解决方案有效实现的，无需资源密集型训练或迭代程序。大量实验表明，OSAQ 可以有效抑制异常值并增强低位量化性能。例如，在 2 位量化中，OSAQ 与 GPTQ 集成时，与普通 GPTQ 相比，困惑度降低了 40% 以上。