CodeQuant：统一聚类和量化，以增强低精度专家混合中的异常值平滑

异常值已成为保持低精度大型模型准确性的基本瓶颈，特别是在专家混合 (MoE) 架构中，该架构对于大规模语言建模越来越重要。在 后训练 量化 (PTQ) 下，这些异常值会引起大量量化误差，导致精度严重下降。虽然最近基于旋转的平滑技术通过重新分配异常值来缓解该问题，但残余误差仍然存在并继续阻碍可靠的低精度部署。在这项工作中，我们通过引入 CodeQuant 来应对这一挑战，CodeQuant 是一种统一的量化和聚类方案，其中包含通过可学习的旋转来平滑激活离群值，并将权重离群值吸收到 MoE 的微调聚类质心中。这种设计通过将极值拟合到簇质心内来减少极值的影响，从而在保持表达能力的同时降低量化误差。结合 GPU 和 CPU 的专用内核设计，CodeQuant 实现了高达 4.15倍的加速，同时在不同的 MoE 模型中提供比最先进的量化方法更高的精度。我们的结果强调 CodeQuant 是在低精度约束下高效、准确地部署基于 MoE 的 大语言模型 的有前途的方向。我们的代码可在 https://github.com/SAI-Lab-NYU/CodeQuant 获取。