论文
WakeKV:会改主意的注意头的可逆KV驻留
WakeKV: Reactive, Reversible KV Residency for Heads That Change Their Minds
摘要
多数KV缓存压缩方法离线或在预填充时对注意力头分类一次,并在整个生成中保持该分类不变。跨三个模型(1.5B-8B)与三种机制(针检索、长思维链、多轮召回),我们在四个模型-机制组合上测量头行为,发现大多数头在生成中至少改变一次读取行为。我们提出WakeKV,一个反应式驻留策略:把冷却头移入可恢复的CPU储备,而非冻结或永久驱逐其状态。在匹配内存或预算下,WakeKV在五个模型-机制组合及四个适用组合上对比SnapKV、均匀R-KV与ReasonAlloc三个基线,一致改善未命中率。Mistral-7B上的FlexiCache/vLLM实现在真实硬件上确认收益:提升吞吐同时保持LongBench质量。