论文

小模型担当主编排器:通过并行子任务分解学习统一的智能体-工具编排

Small Model as Master Orchestrator: Learning Unified Agent-Tool Orchestration with Parallel Subtask Decomposition

智能体系统模型训练强化学习Agent 协作Agent HarnessAgentic RL

摘要

多智能体系统(MAS)通过协调多样化智能体与外部工具来解决复杂问题,展现出明显优势。然而,现有编排方法大多依赖静态工作流或串行智能体调度,且进一步受制于工具与智能体之间异构的接口协议。这导致系统复杂度高、可扩展性差。为缓解这些问题,我们提出Agent-as-Tool,一种统一的并行编排范式,通过协议归一化与显式状态反馈,将智能体和工具统一抽象为标准化、可学习的动作空间。在该范式基础上,我们训练一个轻量级编排器ParaManager,它将规划决策与子任务求解解耦,实现状态感知的并行子任务分解、委派与异步执行。在训练方面,我们采用两阶段ParaManager训练流程:通过纳入配备恢复机制的有监督微调(SFT)轨迹来提升鲁棒性,并进一步应用强化学习(RL),在任务成功、协议遵从、多样性与推理效率之间取得最优平衡。实验表明,ParaManager在多个基准上取得强劲表现,并在未见过的模型池下展现出鲁棒的泛化能力。

小模型担当主编排器:通过并行子任务分解学习统一的智能体-工具编排:论文配图
图 1:多轮、状态驱动的并行编排:ParaManager 迭代地将查询分解为子任务,在每轮中通过统一的工具池启动并行代理/工具调用,并交叉检查和合并中间结果以产生最终答案。