JustQuant：4 位激活量化不需要平滑、SVD 或旋转

最近的生成模型变得越来越强大，但它们的推理成本持续增长。模型量化提供了一种有前途的方法来压缩这些模型并加速推理。然而，在 4 位时，激活量化比权重量化更具挑战性。最近的训练后量化 (PTQ) 和量化感知训练 (QAT) 方法通过引入平滑、SVD 分支、旋转、混合精度或 NVFP4 等高级格式，在 4 位激活量化方面取得了进展。这些额外的运算符和数据类型对推理引擎和硬件提出了苛刻的要求，限制了低精度模型的广泛采用。仅使用简单的低位运算符即可实现量化吗？为了回答这个问题，我们提出了 JustQuant，这是一个简单而有效的框架，它将低位量化的复杂性从部署时算子转移到训练过程中。我们首先从知识蒸馏的角度重新审视模型量化，并表明现有 PTQ 和 QAT 方法失败的一个关键原因是它们通常仅在单个级别上利用监督。然后我们介绍Theseus QAD，一种量化感知的蒸馏方法，逐步应用多级监督，类似于Theseus 船中的逐步替换过程。 DiT 和扩散大语言模型的大量实验显示了两种不同的机制。对于较小的模型，Theseus QAD 可以作为一个轻量级的预热阶段，通过简单的算子大大提高后续的 QAT，而朴素的 QAD 可能会在相同的设置下崩溃。对于较大的模型，Theseus QAD 提供了比普通 QAD 更强的蒸馏训练路径。在这两种机制中，JustQuant 都提高了低位量化质量，同时避免了许多现有 PTQ 方法所需的复杂运算符。