当持续学习转向记忆：LLM 智能体中的经验重用研究

记忆增强的 LLM 智能体为持续学习提供了一条有吸引力的捷径：它们不是更新模型参数，而是在外部记忆中积累经验，似乎回避了参数学习的稳定性-可塑性困境。我们证明这一挑战并没有消失，而是在记忆层面重新出现。在有限的上下文窗口下，新旧体验在检索过程中竞争，将持续学习的瓶颈从参数更新转移到记忆访问。为了研究这种现象，我们引入了一个（k，v）框架，该框架解开了外部记忆的两个基本设计轴：如何表示经验以及如何组织经验以供检索。在 ALFWorld 和 BabyAI 的顺序任务实验中，我们发现抽象的程序记忆比详细的轨迹迁移更可靠，而负迁移对困难情况的损害更大。此外，更细粒度的记忆组织并不是普遍有益的：产生强前向转移的设计同时会导致严重的遗忘。总之，这些结果表明外部记忆并不能解决持续学习的问题；它将其重塑为记忆表示和检索设计的问题。