低位训练后量化中的尺度敏感性：量化误差景观的曲率

GPTQ 系列中的训练后量化 (PTQ) 方法可最大限度地减少必须选择尺度的均匀网格上的分层重建误差；常见的基于最大值的选择在低位宽时急剧下降。我们研究这个目标对规模的敏感程度。对于具有 i.i.d. 的图层高斯权重和有效秩足够大的校准激活，我们证明，随着宽度的增长，归一化舍入到最近的损失以高概率、在所有尺度上均匀地收敛到应用于标准高斯的均匀量化器的均方误差；我们验证了具有奇数 Lipschitz 激活和各向同性高斯校准数据的宽随机初始化 MLP 的有效秩条件。限制目标具有独特的非简并最小化器，其尺度严格地随着级别的数量而减小，并且其相对尺度误差的曲率随着位宽近似呈指数衰减。五个 LLM 上的 GPTQ 实验显示了相同的趋势：尺度规则在 2--3 位处显着改变了困惑度，从 6 位开始可忽略不计，并且 GPTQ 尺度敏感性的局部测量随着位宽的增加而降低，与高斯曲率一致。高斯最优尺度在原始权重上失败；经过 Hadamard 不相干处理后，它与 3 位及以上的最佳搜索规则匹配，无需任何搜索，但在 2 位时仍然明显较差。