论文
MoM:记忆中的记忆
MoM: Memory of Memory
摘要
对于一个长期的 LLM 代理人来说,记忆问题不是曾经记录过什么,而是 \emph{当前持有什么}。大多数设计只是间接地回答这个问题:每次交互都被存储,并且在查询时通过检索和协调记录来重建当前,因此过时的值会重新输入,并且会重新引发相同的冲突。在写入时提交当前值可以避免这种情况,但现有的写入时 (CRUD) 内存会被覆盖,因此错误的更新是不可恢复的,并且先前的状态会丢失。我们采用缺失的组合——\emph{到达时提交,同时保留被替换的内容}——并将其形式化为 \textsc{记忆的记忆} (MoM):记忆不仅跟踪内容,还跟踪其自身条目的出处、状态和历史。我们将 MoM 实例化为 \textsc{Provenant Memory} (P-Mem),这是一种类型化的出处图,其 \emph{active frontier} 公开每个已解析键的一个当前值,而移位的值则保留为出处;类型化操作决定新的观察是否支持、取代、竞争、拒绝、撤销或解决现有值。 P-Mem 的决定性收益是有效性而不是准确性:它的回合级读取在准确度上与最强的检索记忆相匹配,读取标记数减少了 $\sim$4$\times$——检索粒度效应——而图引导的回合修剪降低了知识更新陈旧答案率 (19.4\%$\rightarrow$10.9\%);在修订链上,它保持在 100\%,其中查询时读取崩溃到 25\%,并且由于保留而不是覆盖移位值,因此它可以恢复 CRUD 内存无法恢复的已提交错误(100\% vs.\ 0\%)。