通过离群通道上的加权集覆盖对 后训练 量化进行基于覆盖范围的校准

后训练 量化 (PTQ) 使用小型校准集将 大语言模型 压缩至低位宽，其质量在很大程度上取决于选择的样本。我们确定了一种故障模式，其中校准样本无法激活离群通道、具有异常大激活的隐藏维度，导致量化器低估其动态范围并产生主导逐层损失的每通道重建误差。受此观察的启发，我们认为 PTQ 校准质量更多地受加权离群值通道覆盖范围的影响，而不是受一般样本代表性的影响，并将校准选择公式化为离群值通道上的加权集覆盖问题。目标是单调子模，贪婪算法 COVERCAL 根据预先计算的激活统计数据进行操作，并且在选择时不需要 GPU 时间。我们进一步表明，权重选择是内部一致的：在程式化的裁剪模型下，错过了加权覆盖上限替代损失，证明加权覆盖目标是有原则的而不是纯粹的经验。在 LLaMA-2、LLaMA-3 和 Mistral 中，在 AWQ 和 GPTQ 后端以及五个下游评估下，COVERCAL 相对于随机、最大困惑度、最大激活方差和分层基线进行了改进，在较小的校准预算下获得了最大的收益。在具有 128 个样本的 INT4 时，COVERCAL 比随机校准将 MMLU 提高了 1.2 到 1.5 个点，并将困惑度降低了 15 到 30%；具有 64 个样本，它匹配或超过了 256 个随机校准。其贡献不是新的 PTQ 后端，而是将校准选择公式化为加权异常值覆盖率，并具有简单、高效的算法和基于代理的理由。