论文
MTRouter:具有历史模型联合嵌入的成本感知多匝 LLM 路由
MTRouter: Cost-Aware Multi-Turn LLM Routing with History-Model Joint Embeddings
摘要
多回合、长视野任务对于 大语言模型 (LLM) 来说越来越常见,但解决它们通常需要许多顺序模型调用,从而积累大量推理成本。在这里,我们研究成本感知的多轮 LLM 路由:在给定固定成本预算的情况下,从模型池中选择每轮调用的模型。我们提出了 MTRouter,它将交互历史和候选模型编码为联合历史模型嵌入,并从记录的轨迹中学习结果估计器来预测回合级模型效用。实验表明,MTRouter 改善了性能与成本的权衡:在 ScienceWorld 上,它超越了 GPT-5,同时降低了 58.7% 的总成本;在 Humanity's Last Exam (HLE) 上,与 GPT-5 相比,它实现了具有竞争力的准确性,同时将总成本降低了 43.4%,这些收益甚至可以延续到保留的任务中。进一步的分析揭示了其有效性背后的几个机制:相对于之前的多轮路由器,MTRouter 的模型交换机更少,对瞬态错误的容忍度更高,并且表现出跨模型的新兴专业化。代码:https://github.com/ZhangYiqun018/MTRouter