位置不是事实：KV 缓存和内存之间的不匹配

当事实发生变化时，语言模型应如何更新存储在其键值 (KV) 缓存中的历史记录？隐藏旧记录的成本很低，但它仍然可能包含所需的细节或回答有关过去的问题。我们比较隐藏整个记录、仅隐藏替换值以及删除旧文本并重新计算缓存。在受控数量任务中，掩蔽使所有八个模型更倾向于新值，但有六个模型因单位错误或未能停止而丢失完整答案；保留该单位会保留所有当前答案。后面的状态还保留了早期记录中的有用信息：在多跳更新中，在未更改的位置重建这些状态会将历史准确性降低 20-41 个百分点，而移动现有状态几乎没有影响。保持对象依赖性和不变的修订段落可以防止许多损失。认可是一个单独的挑战。学习读数可恢复合成记录对上固定缓存相似性所遗漏的区别。在自然文本上，在 14 个相同模型的检测器-生成器比较中，文本检测器选择的掩码与相同速率的随机掩码相比没有明显的优势。依赖于查询的访问可以避免一些损失，以及额外的存储或访问成本。这些发现确定了当使用 KV 缓存作为可更新内存时，必须保留超出替换值的内容。