论文
Madeleine：从模拟生活中学习无意识回忆对话记忆
Madeleine: Learning Involuntary Recall for Conversational Memory from Simulated Lives
摘要
一个长期的会话助理必须在正确的时刻回忆起正确的记忆，但最重要的记忆往往与用户现在所说的不相似。当前的系统通过让 LLM 在写入或读取时进行推理来恢复此类关联，代价是每个记忆库需要数百到超过一千个 LLM 调用，并且每个查询需要多达数千个上下文词元。我们认为关联是一种可学习的相关性：在人类生活如何展开的情况下，记忆的逐点互信息。我们介绍了 Madeleine，它学习摊销关联：离线时，LLM 生活模拟器编写模拟生活，其提示触发对向查询编码器传授冻结相似性之上的残差关联；在线阶段，它不调用 LLM，并通过仅替换查询编码器来插入任何向量记忆。在官方协议下的 LoCoMo-Plus 上，插入 HyperMem 后，Madeleine (I) 达到 66.6，是该协议下评估的所有系统中最高的； (II) 单独使用，达到发布时的 HyperMem 分数（52.4 vs. 52.9），LLM 调用为零，其答案上下文约为 1/21； (III) 将 T-Mem 提升 26.2 点，显着优于两个系统内相同的未经训练的主干，并在 4B 主干上保持普通 QA 完好无损。