论文

SWE-Router:多轮代理软件工程任务中的路由

SWE-Router: Routing in Multi-turn Agentic Software Engineering Tasks

AI 基础设施模型网关

摘要

嵌入多轮代理Harness中的 大语言模型 (LLM) 正在重塑软件工程 (SWE),但当许多问题都需要廉价修复时,将每个任务路由到前沿模型是一种浪费。现有的 LLM 路由器仅对任务描述进行操作,该任务描述继承了代理设置中的信息论贝叶斯错误底线:类似的问题可以隐藏局部拼写错误或多模块重构,并且提示不会将两者分开。我们引入了 SWE-Router,这是一种基于价值的时间方法,可以让便宜的模型运行一些探索性的转弯,并在决定是继续便宜的还是升级到昂贵的模型之前读取所得的部分轨迹。我们提供了贝叶斯最优定理,表明对部分轨迹的调节永远不会损害路由,并且只要探索提供信息,就会更好。跨越当代成本能力前沿的 LLM 弱模型和强模型对,我们表明 SWE-Router 极大地提高了 SWE 任务的成本效率,同时保持了更强模型的大部分性能。我们还发布了一个多 LLM 轨迹数据集,它允许再现我们的轨迹级路由。