论文
这是谁的记忆?长期LLM记忆的作用域感知写入规则
Whose Memory Is It? Scope-Aware Commit Rules for Long-Term LLM Memory
摘要
持久记忆使LLM Agent能够在不同对话间保留经验,也可能把一次局部推理错误变成长期错误。思考时,Agent可能考虑某个计划、模拟工具结果、转述另一位说话者的信念,随后又否定这些内容。如果记忆只保存最终形成的句子,原本有用的假设就可能在以后被当作事实取回。这些记录既非捏造,也并非不相关,而是脱离了其成立的语境。我们将这一缺失的语境称为“话语归属”:一个命题所依赖的世界、推理分支或说话者。第一个发现有悖直觉:语言模型内部已经存在对话语归属具有因果作用的信号,但传统记忆接口在将推理转为记录时会丢弃这一信号。我们提出CASK(Causally Anchored Scoping Keys,因果锚定作用域键)写入规则,保留该信号,使共享世界中的事实进入持久记忆,而暂定内容仅能在其原始作用域内使用。第二个发现是,最直接的保留方式——存储所识别的内部坐标——并不可靠,因为等价表征未必保持相同坐标。因此,CASK保存的是表达话语归属的稳定关系。受控长对话冲突实验和工具Agent执行轨迹显示,这一设计改善了记忆准入,避免暂定内容污染后续回答,并与运行时来源追溯形成互补。这样的写入边界让Agent可以探索更多可能性,而不必赋予每一句中间推理影响未来行为的权限。
