论文

具有关键字书签的协作内存分页,用于长期对话 LLM

Cooperative Memory Paging with Keyword Bookmarks for Long-Horizon LLM Conversations

摘要

当 LLM 对话超出上下文窗口时,旧内容必须被逐出 - 但模型如何在需要时恢复它?我们建议协作分页:用最少的关键字书签([pN:关键字],每个约 8-24 个标记)替换被逐出的片段,并且为模型提供了调用()工具来按需检索完整内容。在 LoCoMo 基准(10 个真实的多会话对话,300 多次回合)上,协作寻呼在四种模型(GPT-4o-mini、DeepSeek-v3.2、Claude Haiku、GLM-5)上的六种方法中实现了最高的答案质量(优于截断、BM25、单词重叠检索、搜索工具基线和完整上下文),并得到四位独立 LLM 评委的确认($p=0.017$,配对引导程序)。然后,我们通过边界策略和驱逐策略(3,176 个合成探针,1,600 个 LoCoMo 探针)进行 5x4 消融来研究分页设计空间。主要发现:(1) 粗略的固定大小页面 (fixed_20) 达到 96.7%,而内容感知的 topic_shift 则下降到 56.7%; (2) 逐出策略的选择取决于数据(合成上 FIFO 最佳,LoCoMo 上 LFU); (3) 两种书签生成策略比启发式基线有所改进(+4.4 和 +8.7 E2E 点); (4) 剩下的瓶颈是书签辨别——模型在 96% 的情况下会触发recall(),但当书签不够独特时,只有 57% 的情况下选择正确的页面。仅关键字特异性就造成了 25 个百分点的准确率差异。