激进的解码阶段KV淘汰中什么最重要？时间聚合与排序保持

解码时 KV 缓存压缩研究主要侧重于设计更好的令牌评分函数，而跨解码步骤聚合分数的时间规则通常被视为实现细节。在积极的 KV 压缩下，我们发现指数移动平均（EMA）聚合使得近似保序记分器修改在驱逐集级别上基本上无法区分。值范数和熵变体仍然与注意力高度相关，并产生几乎不变的保留集，而 KeyDiff、关键范数、新近度和学习评分器会改变排名并大幅降低。我们将这种稳定性与评估的聚合相关联，该聚合将层权重和时间保留结合起来。基于这一观察，我们引入了 InertiaKV（一种基于 EMA 的解码时驱逐方法）和 InertiaKV-Lazy（其周期性刷新变体），相对于完全刷新 InertiaKV，其解码吞吐量提高了 1.34-1.46 倍。我们还将无分数解码作为一个单独的经验操作点进行研究：它在第一个解码步骤中对完整上下文进行一次评分，冻结该排名，并在删除所有后续评分的同时产生 +0.03 的平均质量变化。在六个开放权重主干以及 LongBench、LongBench-v2 和 RULER 基准测试中，结果将时间聚合和排名保留确定为独特的、重要的设计因素；它们并不意味着评分质量总体上是无关紧要的。