论文

HAGE:通过强化学习驱动的加权图演化驾驭智能体记忆

HAGE: Harnessing Agentic Memory via RL-Driven Weighted Graph Evolution

上下文与知识模型训练强化学习记忆Agentic RLAgent记忆

摘要

智能体大语言模型(LLM)系统中的记忆检索常被视为静态查找问题,依赖扁平向量搜索或固定的二元关系图。然而,固定的图结构无法刻画事件间关系在强度、置信度和查询相关度上的变化。本文提出HAGE,一个加权多关系记忆框架,将检索重新构想为在统一关系记忆图上按查询条件进行的顺序遍历。记忆被组织为共享记忆节点之上的关系特定图视图,每条边关联一个编码多种关系信号的可训练关系特征向量。给定查询后,基于LLM的分类器识别关系意图,路由网络动态调节边嵌入的相应维度。遍历得分通过语义相似度与这些查询条件边表示的学习组合来计算。这使记忆遍历能优先选择高效用的关系路径,同时柔和抑制噪声或弱相关连接。在自适应遍历之外,HAGE还引入基于强化学习的训练框架,利用下游任务联合优化路由行为与边表示。最后,实证结果表明,与最先进的智能体记忆系统相比,HAGE提升了长程推理准确率并取得更优的精度-效率权衡。代码可在https://github.com/FredJiang0324/HAGE_MVPReview获取。

HAGE:通过强化学习驱动的加权图演化驾驭智能体记忆:论文配图
图1:记忆增强生成(MAG)的高层架构,对应HAGE的加权图智能体记忆机制。