等价性的幻觉：LLM量化效应的统计刻画

训练后量化被广泛用于压缩大语言模型使其可部署于资源受限设备。但量化方法的评估主要使用准确率与困惑度——无法捕捉量化变体中的行为变化。本工作提出正确性一致（Correctness Agreement）：可度量基座模型与其量化变体之间正确预测交集的决策级指标。我们跨多模型与量化位级（8位到2位）使用该指标，发现即便准确率与困惑度得以保持，基座与量化变体通常存在行为偏移。为解释该效应，我们用统计与分布度量研究量化对注意力权重结构的影响。结果揭示低位宽处存在断点，并显示查询与键投影比值与输出投影对量化更敏感。结果证明基座与量化模型之间等价性的幻觉，并启发超越困惑度与准确率的量化方法行为评估。