ConQuR：通过 LLM 优化旋转进行角对齐激活量化

大语言模型 (LLM) 由于内存占用较大且推理成本较高，因此部署成本较高。权重激活量化可以降低这些成本，但低位激活量化仍然很困难，因为激活异常值会导致较大的量化误差。最近的基于旋转的方法通过应用正交变换来解决这个问题，正交变换可以跨维度重新分配激活幅度，但现有方法要么需要昂贵的端到端旋转训练，要么依赖于存储的激活语料库，从而引入大量的计算或存储开销。我们提出了一种用于 LLM 激活量化的轻量级 后训练 旋转校准方法。我们的方法学习正交旋转，将标准化激活与内接超立方体的角对齐，从而鼓励激活能量在各个维度上更均匀地分布。该目标允许通过正交 Procrustes 问题进行有效的封闭式更新，避免在正交组上基于梯度的优化。我们进一步引入了一种在线校准程序，该程序在处理校准样本时更新旋转，从而无需将激活存储在磁盘上，并允许旋转在校准期间适应量化的激活分布。对从 3B 到 70B 参数的 Llama-2 和 Llama-3 模型进行的实验表明，我们的方法在复杂度基准和常识推理任务中实现了具有竞争力或改进的性能，同时避免了昂贵的端到端训练和大型离线激活存储。