论文
面向智能体记忆精炼的机制性注意力引导
Mechanistic Attention Guidance for Agent Memory Refinement
摘要
现有自进化记忆系统主要基于文本输出——任务轨迹与反思——改进智能体记忆。但这种基于文本的范式很少纳入内部机制信号,使检索到的记忆在任务执行中实际如何被利用这一问题未被充分研究。该局限会导致不可靠的错误归因与幻觉式的记忆修改。本工作中,我们证明检索头注意力提供了揭示片段级记忆利用率的机制性信号:通过对记忆片段与决策步骤聚合注意力,我们构建上下文利用矩阵,暴露反复出现的记忆使用模式并指示相应的精炼策略。基于这一观察,我们提出注意力引导记忆精炼(AGMR),用注意力揭示的利用模式引导有针对性的片段级记忆更新:对失败执行纠正或增强记忆、对成功执行简化记忆,并经重执行验证每次更新。在交互式决策基准上的实验显示,AGMR在任务表现与记忆效率上都优于纯文本记忆精炼基线。代码见https://anonymous.4open.science/r/AGMR_code-3262/。
