论文

从被动检索到主动记忆导航:学会把记忆当结构化动作空间

From Passive Retrieval to Active Memory Navigation: Learning to Use Memory as a Structured Action Space

上下文与知识模型训练强化学习记忆Agentic RLAgent记忆

摘要

长期用户记忆对个性化对话智能体至关重要,但许多记忆系统仍经被动检索接口暴露记忆——使模型成为预选证据的消费者。我们引入NapMem:一个学会把长期用户记忆当结构化动作空间而非被动检索上下文使用的框架。NapMem把用户历史组织为链接的多粒度记忆金字塔——原始对话、类型化记忆记录、主题轨道与用户画像经出处关系连接——并经记忆工具暴露这些层级。智能体被训练按查询与中间证据选择记忆,使其在作答前检查不同记忆粒度。PersonaMem-v2、LongMemEval与LoCoMo上的实验显示:经记忆工具RL训练的NapMem智能体跨多样记忆密集任务有竞争力,而对非记忆任务的评估表明所学策略大体保持通用推理与工具使用能力。附加分析考察存储、推理成本、工具使用行为,及导航、记忆粒度与RL训练的消融。结果表明:长期用户记忆受益于把结构化存储与以适当粒度使用记忆的学习策略耦合。

从被动检索到主动记忆导航:学会把记忆当结构化动作空间:论文配图
图 1:主动内存导航的激励示例。被动检索给代理留下了部分证据,而 NapMem 将长期用户记忆暴露为操作界面,使代理能够在回答之前搜索足够的证据。