周期性弱点：分块 KV 缓存压缩的相位敏感性

分块 KV 缓存压缩通过以固定步幅将连续标记窗口压缩为更少的缓存条目，减少了长上下文推理的内存和注意力成本。这种压缩还引入了一个新的位置坐标：词元的相位，或其相对于压缩窗口边界的位置。我们发现使用这种压缩的模型中存在系统性不对称性：相同的信息在一个阶段很容易检索，但在另一个阶段很难检索。我们将这种检索性能的周期性变化称为相位敏感性。在具有此类压缩的大型开放权重模型中，长上下文检索准确度在各个阶段之间可能相差高达 40 个百分点，从而揭示了平均基准分数可以掩盖的周期性弱点。为了研究这种行为，我们从头开始跨多个 KV 压缩设计预训练一系列Transformer，从而重现各个变体的相位敏感性。在这些模型中使用因果干预的机制分析揭示了阶段专门化：不同的注意力成分对不同源阶段的信息检索的贡献不对称。我们进一步分析理想化的检索模型，显示梯度流动力学如何有利于锐相专业化。因此，使用分块 KV 缓存压缩评估模型需要跨压缩阶段进行测量：高平均精度可能与系统位置故障共存。