论文

合约记忆编译器:解析,然后遍历

Contract Memory Compiler: Resolve, Then Traverse

上下文与知识记忆Agent记忆

摘要

外部记忆让语言模型Agent能够回答关于历史对于答案模型的上下文窗口来说太长的问题。更新会产生比检索最近的事实更困难的问题:更改一个关系可以将多跳问题重定向到有关问题中不存在的实体的记录。我们研究了这个依赖于更新的证据选择问题,并引入了合约记忆编译器(CMC)。在看到问题之前,CMC 使用语言模型来识别历史中的关系并记录每个关系的表述位置。它应用稍后的更新来确定当前关系,从问题中命名的实体跟踪它们,并在一次调用中将相应的原始记录传递到答案模型。因此,当前状态决定读取哪些证据,而不仅仅是刷新先前选择的上下文中的值。据我们所知,CMC 在 FactConsolidation 上实现了最先进的多跳准确率,整体达到 78.25%,在 262K 时达到 61.0%。在提取的关系和答案模型保持固定的情况下,在解决更新之前选择证据会将多跳准确度降低至 21.50%。我们还介绍了 MQuAKE-MemStream,这是一个从 MQuAKE-Remastered 反事实案例构建的有序记忆流的派生数据集。