KV缓存复用评测：分离真实准确率损失

位置无关的 KV 缓存重用旨在通过跨提示重用块级 KV 缓存来减少检索增强生成中的延迟。我们表明，当前对 KV 缓存重用技术的评估依赖于无法忠实捕获重用造成的准确性损失的测量，通常人为地夸大了报告的有效性。我们还表明，现有数据集没有表现出彻底评估此类技术所需的重用动态。为了解决这些问题，我们提出了一种评估方法，可以明确地测量这种准确性损失，并且我们引入了 Boxoffice，这是一种以编程方式生成评估数据集的工具，可以执行具有挑战性的 KV 缓存重用模式。