论文

CompoWorld:通过可组合环境扩展通用Agent任务空间

CompoWorld: Compositional Environment Scaling for General Agents

模型训练强化学习合成数据RLVRAgentic RL

摘要

自动生成的环境为训练通用Agent提供了可扩展的交互数据源。然而,现有方法主要在单个环境中生成任务,而现实世界的工作流程需要Agent跨多个服务连接信息和操作。我们引入组合环境扩展(CompoWorld),它通过组合可重用服务的有限库来扩展任务空间。编码Agent将工具规范转换为具有类型化状态和共享接口的经过验证的服务,而世界模型则处理无法可靠实现的工具。随机游走过程通过依赖图连接服务,从而能够生成和验证需要信息在服务之间流动的任务。经过验证的轨迹支持监督微调 (SFT),而我们的以完成为中心的评分规则奖励通过强调每个rollout组内通过率较低的标准来指导强化学习 (RL) 全面完成任务。我们构建了 448 个服务,公开了 10,130 个工具,并使用 3K SFT 轨迹和 1K RL 任务来训练 Qwen3.6-35B-A3B。实验结果表明,CompoWorld 在八个基准测试中的骨干网平均提高了 9.17 分。在 AutomationBench 上,它超越了 Claude Opus 4.6 等前沿模型,并领先于所有比较的Agent专用 35B-A3B 模型。