论文
GenMem:用生成式符号记忆支持Harness自我演化
GenMem: Generative Symbolic Memory for Self-Evolving Harness
摘要
长期记忆通过跨任务保留经验与技能,并支持其在后续长时域决策中的检索、复用和修订,促进LLM Agent自我演化。然而,现有记忆管理方法仍限于判别式检索,难以处理可复用经验的稀疏、层次化和高度冗余结构:只有一小部分依赖具体任务的轨迹与记忆值得保留、检索或修订。任务级反馈稀疏、延迟且间接,记忆生命周期各环节的监督较弱,进一步增加了学习这些操作的难度。此外,持续记忆演化带来寻址不变性的架构矛盾:已存经验不断修订,但学习到的检索策略所使用的寻址接口必须保持稳定。为此,我们提出GenMem,将记忆管理重新表述为生成式符号寻址。其核心机制是符号标识符(SID):从笛卡尔积地址空间取出的多层离散词元元组,以不足一百个离散符号对百万规模的稀疏记忆空间进行因子化。记忆Agent学习生成SID,而非生成不断变化的原始内容;记忆演化则改写固定地址上的载荷,不移动地址本身。架构上,GenMem在多Agent Harness中耦合MemRetriever与MemEvolver,通过双通道优化,使用密集过程奖励和结果奖励进行GRPO训练。在离线记忆演化设置下,我们在ALFWorld、WebShop、多跳问答、医学推理和深度研究任务中,与强记忆增强基线比较。除准确率外,我们发现SID呈现涌现的神经符号特性:可以与自然语言词元交错,并具有组合性——组合多个SID即可组合它们存储的经验,以应对任何单个条目都未覆盖的新情境。