论文

RPMem:LLM 代理跨会话学习长期循环参数记忆

RPMem: Learning Long-Term Recurrent Parametric Memory Across Sessions for LLM Agents

上下文与知识记忆Agent记忆

摘要

长时间运行的 LLM 代理需要在会话中持续存在和发展的内存。基于文本的记忆在每次查询时检索并重建过去的交互,随着历史的增长,长期性能越来越依赖于检索质量和上下文推理。参数内存将经验直接编码到模型计算中,但现有方法对跨会话内存演化提供的支持有限。它们与特定主干的耦合进一步限制了模型替换后的内存重用。我们引入了 RPMem,这是一种两阶段架构,它通过前向计算将每个会话编译成与模型无关的潜在内存,并通过任务训练的循环门选择性地将其与保留内存集成。然后,整合的内存被映射到骨干网特定的低秩自适应 (LoRA) 参数,从而允许在更换骨干网时转移编码能力。对三个长期内存基准和五个不同骨干网的评估表明,更新成本和内存占用量近乎恒定,具有广泛的泛化性。在 PERMA 上使用 Qwen3-8B,RPMem 达到 85.52%,分别比最强的参数基线和基于文本的基线高出 5.32 和 12.98 个百分点。消融验证了会话编译和跨会话巩固的互补作用,而动态分析表明门获取了特定于任务的内存集成策略。这些结果将 RPMem 确立为一个独立于生命周期的参数化内存框架,该框架可维护不断发展的跨会话内存,并且在骨干网替换过程中仍可重用。我们的实现可以通过此 https URL 获得。