论文
AgentRouter:面向成本最优多步Agent工作流的异构模型路由
AgentRouter: Heterogeneous Model Routing for Cost-Optimal Multi-Step Agentic Workflows
摘要
把轨迹中每一步都路由到前沿模型的企业级 Agent 系统会将 60-80% 的推理预算浪费在小模型同样能完成的子任务上。现有路由方案优化单轮查询分配,却忽略了 Agent 工作流独有的一项特性:同一轨迹内的子任务复杂度差异巨大。规划步骤可能需要前沿级推理,而随后的格式化步骤只需要 7B 模型。我们将步级模型路由形式化为 Agent 轨迹上的顺序分配问题,并提出 AgentRouter:一个轻量分类器(1200 万参数,在 A100 GPU 上每步开销小于 5 毫秒),利用五个可在路由时提取的特征将每个轨迹步映射到四个模型档位之一。AgentRouter 在横跨规划、编码、研究和数据分析任务的 5 万条标注轨迹步上训练,相对仅用前沿模型的基线实现 72% 的成本削减,保留 97.3% 的质量(端到端任务完成率下降不足 3%);最小复杂度步骤的逐步路由准确率达 91%,高效档步骤为 85%,难度更高的中档与前沿档为 76-82%。在相同基准上,逐步应用的 RouteLLM 和 FrugalGPT 分别只实现 31% 和 44% 的成本削减,因为其单轮训练信号无法捕捉轨迹级的质量依赖。