论文

先预测再修改:为自演进Agent学习改进动态

Predict Before You Modify: Learning Improvement Dynamics for Self-Evolving Agents

智能体系统智能体自我改进递归自我改进(RSI)

摘要

自我进化Agent通过反复的修改和评估循环来改进。然而,现有的方法只有在昂贵的评估之后才会收到有关修改的反馈,并且总分可能会模糊需要不同修复的故障之间的区别。我们通过可编辑的改进动态模型(IDM)引入预测性自我进化。在评估之前,IDM 会预测拟议修改的任务级结果并指导可选的修订。评估后,过去的修改及其观察到的结果将用于改进 IDM,从而使预测知识能够跨代积累。因此,系统可以改进解决任务、提出修改建议并预测其效果的方式。在 HyperAgents 的基础上,我们通过多语言编码、论文评审、机器人奖励设计和奥林匹克级别的数学评分来评估这种方法。我们的方法在所有四个领域都优于 HyperAgents,跨代平均性能最高提高46%。在匹配的 token 预算下,收益也持续存在,其中包括Agent进化和任务评估,并扩展到留出任务。预测准确性随着 IDM 的发展而提高,并且学习到的预测知识会转移以改进新领域的演进。

先预测再修改:为自演进Agent学习改进动态:论文配图
图1:自演进中的“雅典娜”。如同雅典娜指导奥德修斯,IDM在评估前预测任务级结果,为可选修订提供指导。只评估最终子代的任务Agent;最终预测与实测结果为跨代改进IDM提供证据。