论文
SAGA:通过知识抽象组织智能体的经验与行动
Principles that Guide, Actions that Inform: Agent Evolution via Knowledge Abstraction
摘要
大语言模型 (LLM) 智能体在交互环境中展示了强大的能力,但其从经验中不断发展的能力仍然有限。虽然微调能够实现适配,但其对参数访问的依赖和较高的计算成本限制了其灵活性,特别是对于大规模且闭源的LLM。外部记忆提供了一种替代方案,允许智能体积累经验而无需修改模型参数。然而,现有的方法主要侧重于经验表示和组织,而获得的知识仍然与特定任务和上下文紧密耦合,限制了泛化。一个关键的挑战是如何将具体的交互转化为抽象的、可重用的知识,以指导个人经验之外的未来决策。为了应对这一挑战,我们提出了 SAGA(\underline{S}elf-evolving \underline{A}gents through Experience-\underline{G}rounded \underline{A}bstraction),这是 LLM 智能体中基于经验的知识抽象和利用的框架。 SAGA 逐步将交互轨迹转化为情景描述、可重用程序和具有明确适用条件的原则,同时保持与执行证据的链接。检索到的原则被实例化为特定于任务的指导,并用于通过纠正反馈和重新采样来完善候选人的行动。这创建了一个执行-抽象反馈循环,其中积累的知识指导未来的交互,新的体验不断更新分层的记忆。 ScienceWorld 和 ALFWorld 上的实验证明了任务性能的提高,消融 研究强调了上下文实例化和动作调节对于利用原理级知识的重要性。
