论文

SkillMentor:通过学习盲区诊断实现LLM智能体自我演化

SkillMentor: LLM Agent Self-Evolution via Learning Blind-Spot Diagnosis

模型训练智能体系统强化学习Agent SkillsAgentic RL

摘要

智能体自我演化主要聚焦于学习如何行动,却忽视了一种同样重要的能力:学习发现智能体不知道什么。现有方法通常假定失败发现是给定的,聚焦于在识别出失败之后如何修复。我们追问:盲区诊断本身是否可以被学习。为此,我们把诊断作为与执行分离的一种智能体能力来研究,并排除两个替代性的进步来源:执行器适配与人类监督。在这些约束下,性能无法通过更新执行器或标注样例来提升,迫使所有改进都源于习得的诊断能力。我们提出SkillMentor,通过强化学习训练一个Mentor策略来生成诊断任务、识别反复出现的失败模式,并将其整理为可复用的纠正性技能。在AppWorld和BFCLv3上,SkillMentor平均将执行器性能提升44.2%。这些结果表明,盲区诊断是一种可学习的能力,无需更新执行器权重或依赖人工整理的数据即可实现自我演化。

SkillMentor:通过学习盲区诊断实现LLM智能体自我演化:论文配图
图 1:诊断和执行是不同的功能。为了孤立地研究诊断,我们冻结了执行者并取消了人为监督,使诊断成为改进的唯一来源。 SkillMentor 训练 Mentor 策略来发现盲点并构建外部技能存储库,从而在不更新执行器权重的情况下实现自我进化。