论文

AgeMem:联合训练Agent的长期记忆与短期上下文管理

Agentic Memory: Learning Unified Long-Term and Short-Term Memory Management for Large Language Model Agents

上下文与知识模型训练模型推理强化学习测试时计算扩展上下文工程记忆RLVRAgentic RLAgent记忆

摘要

大语言模型Agent受有限上下文窗口限制,在长程推理中面临根本性困难,因此有效的记忆管理至关重要。现有方法通常将长期记忆和短期记忆分开处理,依赖启发式规则或辅助控制器,限制了适应能力和端到端优化。本文提出Agentic Memory(AgeMem),将长期记忆与短期记忆管理直接纳入Agent策略的统一框架。AgeMem将记忆操作表示为工具动作,使Agent自主决定保存、检索、更新、总结或丢弃哪些信息,以及何时执行这些操作。为训练这些统一行为,本文提出三阶段渐进式强化学习策略,并设计逐步GRPO,处理记忆操作带来的稀疏、不连续奖励。在五项长程任务基准上,AgeMem在多个大语言模型骨干下持续优于较强的记忆增强基线,提高了任务表现、长期记忆质量和上下文使用效率。

AgeMem:联合训练Agent的长期记忆与短期上下文管理 配图
图1:AgeMem将长期记忆与短期上下文操作纳入Agent策略。