ECOKV：通过互补多样性指标进行几何感知 KV 缓存驱逐

尽管多模态 大语言模型 (MLLM) 在各种任务中表现出色，但其可扩展性仍然受到 KV 缓存存储的内存和计算开销的限制。最近的 KV 缓存驱逐方法将基于余弦相似性的多样性度量与重要性度量相结合，以选择性地保留关键键值对。然而，余弦相似度涉及到丢弃幅度信息的归一化，并且由于隐藏表示的各向异性特性，它通常会在各层之间产生一致的高相似度值。在我们的研究 ECOKV 中，我们严格解构了现有多样性指标的功能。除了简单的测量之外，我们提出了一种几何感知的复合度量，该度量联合利用欧几里德距离和余弦相似度从互补的角度捕获词元多样性。此外，我们使用这两个指标来估计每个注意力头的冗余级别，从而允许在词元选择期间在多样性和重要性分数之间进行自适应加权。最后，我们证明了通常用于保存最近词元的观察窗口可以大大减少，从而为信息词元分配更多的缓存容量并产生一致的改进。大量实验表明，ECOKV 在各种压缩比下实现了最先进的性能，并且可以与现有的 KV 缓存驱逐方法无缝集成。我们进一步分析重要性和多样性之间的关系，并检查跨层和注意力头的冗余模式。