SandwichQuant：量化前后哪些参数重要？

量化校正方法通常优化权重、量化参数或重建目标，而负责有效校正的底层参数子空间仍不清楚。在这项工作中，我们从参数子空间的角度研究量化校正，并揭示校正能力在参数组之间高度不均匀。通过将可训练参数分解为主干权重、归一化仿射参数和量化参数，我们表明低维归一化仿射子空间在匹配预算下提供了高效的校正方向。基于这一发现，我们提出了 SandwichQuant，一个两阶段归一化仿射校正框架，在量化之前和之后执行适应。前级提高量化鲁棒性，后级补偿量化图固定后的残余误差。对视觉模型和 大语言模型 的大量实验证明了在各种低位量化设置下的一致改进，验证了子空间对齐校正的有效性。