SkillMaster：迈向LLM智能体的自主技能精通

技能为改进LLM代理处理复杂任务提供了有效的机制，但在现有的代理框架中，它们的创建、细化和选择通常由外部教师、手工设计的规则或辅助模块控制。因此，技能仍然是需要调用的外部资源，而不是代理可以通过经验开发、适应和内化的能力。为了赋予 LLM 智能体自主掌握技能的能力，我们提出了 SkillMaster，这是一个训练框架，可教会智能体创建新技能、完善现有技能以及在任务解决过程中选择积累的技能。此功能是通过三个关键设计实现的。首先，我们通过基于轨迹的技能审查来训练智能体，教导智能体根据已完成事件的证据提出、更新或保留技能。其次，每个候选技能编辑都旨在通过其在相关探测任务上的反事实效用进行评估，为训练技能编辑决策提供直接的学习信号。第三，我们引入了 DualAdv-GRPO，它分别估计任务解决行动和技能编辑决策的优势，从而稳定任务解决和技能管理之间的联合训练。 ALFWorld 和 WebShop 上的实验表明，SkillMaster 的总体成功率比最先进的基线分别提高了 8.8% 和 9.3%，在所有比较方法中实现了最佳性能。进一步的分析揭示了智能体能力的显着转变：经过 SkillMaster 训练的智能体可以识别技能故障，从轨迹证据中提炼程序知识，并通过有限的技能库编辑将改进转移到未来的任务。总体而言，SkillMaster 使 LLM 代理人超越单纯的技能使用，转向能够开发、适应和应用自己的技能库的自我改进代理人。