Jacap：通过基于雅可比行列式的非线性信息容量保留实现稳健的 KV 缓存驱逐

键值 (KV) 缓存驱逐对于扩展 大语言模型 中的长上下文推理至关重要。然而，现有的策略主要依赖于经验启发法，缺乏在固有的非线性 Softmax 注意力机制下对词元效用的严格表征。在这项工作中，我们通过局部信息几何的视角重新思考 KV 缓存驱逐，将注意力过程建模为非线性高斯通信通道。通过执行注意力映射的一阶泰勒展开，我们推导出雅可比信息容量，这是一个明确捕获查询相关性、softmax 敏感性和结构多样性的新颖目标。在这一理论的指导下，我们引入了 Jacap，一种容量感知驱逐方法，它利用 softmax 感知重要性加权和统计杠杆分数来进行子集选择。跨不同架构和基准的大量实验表明，\textsc{Jacap} 在大多数情况下都能提供卓越的性能，特别是在高压缩状态下。