通过本地分布恢复实现高精度低位 KV 缓存量化

长上下文 大语言模型 推理依靠 KV 缓存来避免冗余的注意力计算，但会产生较高的内存和带宽开销。低位 KV 缓存量化降低了成本，但严重降低了质量；特别是，在 RULER 下，Llama-3.1-8B 上的一位量化精度从 84.2% 降低到 47.8%。我们发现根本原因不是 logits 的绝对错误，而是结构化的局部错误排名，其中 logits 在 top-K 区域的分布发生了漂移。因此，我们提出了局部分布恢复，这是一种新技术，可以从量化的 logits 特征中检测具有高局部分布风险的步骤，并在标记选择之前仅恢复选定的前 K 个候选分布。我们实施DGAP以实现本地分布恢复，并具有高效的风险检测器和校正器。实验表明，在 Llama-3.1-8B 上，DGAP 将 K1V1 RULER 精度从 47.8% 恢复到 83.2%，并将分布漂移从 0.38 降低到 0.14；在 Llama、Mistral 和 Qwen 模型中，它以适度的解码开销保留了持久的低位 KV 缓存占用空间。