论文

学习如何记忆:一种面向结构化可迁移代理记忆的元认知管理方法

Learning How to Remember: A Meta-Cognitive Management Method for Structured and Transferable Agent Memory

上下文与知识记忆Agent记忆

摘要

大语言模型(LLM)代理日益依赖积累的记忆来解决长程决策任务。然而,大多数现有方法以固定表示存储记忆,并在单一或隐式抽象层次上复用,这限制了泛化能力,且在分布偏移时常导致负迁移。本文提出元认知记忆抽象方法(Meta-Cognitive Memory Abstraction,MCMA),它将记忆抽象视为可学习的认知技能,而非固定的设计选择。MCMA通过将冻结的任务模型与习得的记忆副驾驶(memory copilot)相结合,把任务执行与记忆管理解耦。记忆副驾驶通过直接偏好优化(direct preference optimization)训练,决定记忆应如何被结构化、抽象与复用。记忆被进一步组织成抽象层次的层级结构,支持基于任务相似性的选择性复用。当没有可迁移的记忆时,MCMA通过迁移记忆副驾驶来迁移抽象与管理记忆的能力。在ALFWorld、ScienceWorld与BabyAI上的实验表明,相较多个基线,MCMA在性能、分布外泛化与跨任务迁移上均取得显著改进。

学习如何记忆:一种面向结构化可迁移代理记忆的元认知管理方法
图2:任务模型收集原始轨迹,memory copilot 将其抽象为结构化知识。由下游任务表现构建的偏好对用于通过 DPO 训练 memory copilot。学到的记忆与 copilot 被分层组织,以支持跨任务的自适应记忆复用。