OVAL：用于 KV 缓存检索的输出感知本地页面库

使用大语言模型进行长上下文推理变得越来越昂贵，因为注意力必须在不断增长的 KV 缓存上运行。页面稀疏注意力通过紧凑地表示每个 KV 页面并仅检索每个查询的子集来降低此成本。现有的检索方法旨在估计注意力分数或页面相关性，但其目标并不直接考虑近似误差如何影响结果值加权注意力输出。我们引入 \method{}，一种从键和值的联合结构派生的输出感知页面编码，同时保留准确检索所需的关键信息。 \method{} 是训练自由的，并且在推理时不需要额外的值相关统计信息。一旦构建完成，其存储的表示具有与仅关键频谱表示相同的大小和解码时间评分成本。在长推理、长上下文理解和长生成基准方面，\method{} 持续改进了仅关键的谱基线，并且与最新的 KV 缓存压缩和检索方法相比，性能具有竞争力。在长推理基准上，它在模型基准对上实现了强大的 avg@\(k\) 性能，同时在几个长上下文理解和生成设置上以适度的解码开销匹配或超越领先基线。代码可在 \url{https://github.com/Ashkan13776/oval-kv} 获取。