论文

价值感知 KV 驱逐何时有帮助?非单调缓存压缩的固定契约诊断

When Does Value-Aware KV Eviction Help? A Fixed-Contract Diagnostic for Non-Monotone Cache Compression

模型推理KV Cache

摘要

长上下文 LLM 推理受到解码期间读取大型 KV 缓存的内存和带宽成本的瓶颈。 KV 压缩通过仅保留部分缓存来降低此成本,但任务准确性本身并不能确定选择器成功或失败的原因。选择器可能会在三个步骤中失败:它可能会错过未来解码所需的证据,为不影响输出的标记提供高分,或者在将分数放入小型缓存时破坏相关证据。我们引入了一种固定契约诊断,它使选择器的设置保持固定并一次更改一个决策槽。对于价值排名,探针将块的注意力质量与移除块后的估计输出变化结合起来。在 LongBench 的三个模型和两个预算上,探针对 72.6% 的阳性边缘细胞和 32.4% 的非阳性边缘细胞呈阳性。 32k 的 NeedleBench M-RT 和 RULER 8k 检查探针支持分支检索下的闭合,264 单元符号评估将支持恢复和输出值排名与边界附近的杠杆效应分开。由此产生的顺序是恢复解码端证据,对其输出值进行排序,并在投影期间保留耦合证据。