LC-QAT：通过线性约束矢量量化为 LLM 提供数据高效的 2 位 QAT

量化感知训练 (QAT) 对于极低位 大语言模型 (LLM) 至关重要。当前的 QAT 方法主要基于标量量化 (SQ)，它可以实现高效优化，但在 2 位精度下性能会严重下降。另一方面，矢量量化（VQ）提供了更高的表示能力，但其离散码本查找阻碍了端到端训练。我们提出了 LC-QAT，这是一种仅 2 位权重的 VQ-QAT 框架，它通过离散向量上的学习仿射映射来表示量化权重，从而产生高质量的 PTQ 初始化，并实现完全可微的端到端优化，而无需在训练前向传递中进行显式码本查找。这种强大的 后训练 初始化使 LC-QAT 具有很高的数据效率。不同 LLM 的实验表明，LC-QAT 始终优于最先进的 QAT 方法，同时仅使用 0.1%--10% 的训练数据。我们的结果表明 LC-QAT 是一种实用且可扩展的解决方案，适用于极低位模型部署。代码可在 https://github.com/AI9Stars/UniSVQ 上公开获取。