逐位：渐进式 QAT 策略与异常值通道分裂以获得稳定的低位 LLM

以超低精度训练 LLM 仍然是一项艰巨的挑战。直接低位 QAT 通常会遇到收敛不稳定和大量训练成本的问题，而来自重尾离群通道的量化噪声和跨层的错误累积会加剧这种情况。为了解决这些问题，我们提出了 Bit-by-Bit，这是一种具有异常通道分割功能的渐进式 QAT 框架。我们的方法集成了三个关键组成部分：（1）逐块渐进训练，逐步降低精度，确保低位优化的稳定初始化； （2）整数量化网格的嵌套结构，以实现“训练一次，部署任意精度”范式，允许单个模型支持多个位宽而无需重新训练； (3)舍入感知异常值通道分割，它可以减轻量化误差，同时充当保留量化输出的恒等变换。此外，我们使用 E4M3 尺度跟踪微尺度组，捕获符合 OCP/NVIDIA 标准的动态激活范围。为了解决缺乏高效 2 位内核的问题，我们为 W2A2 和 W2A16 配置开发了自定义运算符，与 BF16 相比，速度提高了 11 倍。在 W2A2 设置下，Bit-by-Bit 在 Llama2/3 上显着优于 BitDistiller 和 EfficientQAT 等基线，与全精度模型相比，仅损失 2.25 WikiText2 PPL。