CommitKV：通过多轮代理的提交转换进行生命周期感知的 KV 缓存压缩

多轮推理与行动 (ReAct) 代理积累不断增长的推理、工具调用和观察轨迹。它们的键值 (KV) 缓存会相应增长，从而增加模型推理期间的内存使用和注意力成本。现有的 KV 缓存压缩方法通过驱逐注意力分数较低的状态来降低这些成本。然而，当前的关注度较低并不意味着未来不相关，因为暂时不活跃的信息可能会在以后变得重要。因此，基于快照的逐出方法不能明确地区分暂时休眠的信息和似乎已完成其作用的信息。在本文中，我们提出了 CommitKV，它通过提交转换来识别 KV 生命周期。具体来说，CommitKV 首先将已完成的代理事件划分为词元页面，并在工具调用提交之前和合并提交返回的观察之后比较每个符合条件的页面的删除效果。基于这些成对的测量，CommitKV 将休眠页面与完成度从高到低的候选页面区分开来。然后，它应用贪婪联合测试，仅当候选者的组合后提交效果保持有限时才接受退休候选者。最后，在稍后的压缩检查点，接受的页面被排除，等待提交后测量的一组有界页面受到保护，并且使用相同的键、值和绝对位置的词元索引将剩余的 KV 状态保留在缓存预算内。这些机制确保 CommitKV 能够区分休眠信息和已完成其观察角色并可以安全删除的信息。各种基准测试的实验表明，CommitKV 减少了代理内存使用，加速了端到端推理，并实现了比现有 KV 缓存压缩方法更高的准确性。