论文

Skill2Env:通用智能体技能的面向能力的环境综合

Skill2Env: Capability-Oriented Environment Synthesis from Skills for General Agents

模型训练智能体系统合成数据Agent Skills

摘要

可执行环境对于训练后智能体执行需要使用工具和多步骤交互的任务至关重要,但构建可执行任务及其环境仍然难以扩展。技能提供可重用的领域知识、操作过程和工具使用说明,但技能中包含的信息与具有完整可执行环境的具体、具有挑战性的任务之间仍然存在很大差距。为了解决这一差距,我们引入了 Skill2Env,这是一个面向能力的框架,它从技能开始,并使用Agent能力需求来指导任务和环境综合。 Skill2Env 通过可重用的难度模式来表示这些需求,并将它们实例化为指定目标、挑战、环境事实、信息边界和验收标准的任务蓝图。这些蓝图指导围绕源技能联合构建任务指令、执行基础、工作空间和基于标准的评估器。我们进一步提出迭代任务强化,它使用求解器执行证据来识别挑战性不足的任务设计,加强或扩展其难度模式实例,并修改相应的蓝图和环境。使用 Skill2Env 环境生成的 1.5K 高分轨迹进行监督微调,我们观察到在广泛的智能体基准测试中取得了一致的改进,证明了面向能力的环境综合对于智能体后训练的有效性。