LLMRouter：用于开发、评估和部署 LLM 路由器的统一基础设施

没有任何一个 大语言模型 (LLM) 在所有查询和预算约束下都是最佳的，这使得模型路由对于经济高效的部署至关重要。现有路由器的制定和实现方式多种多样，难以公平比较和扩展。我们提出了 LLM 路由的统一表述，作为一个顺序决策过程，其特征在于五个组件：上下文编码器、模型编码器、评分函数、决策规则和学习信号，涵盖单轮、多轮和个性化路由。基于这个公式，我们开发了一个自动化管道，用于构建路由监督并联合评估路由器的响应质量和推理成本。由此产生的基准测试 xRouteBench 涵盖通用 LLM、内存增强、视觉、时间序列和个性化路由任务。我们进一步介绍 LLMRouter，这是一个开源模块化基础设施，拥有超过 16 个代表性路由器。我们的实证研究表明，学习路由器的性能比最强的固定模型基线高出 14.6%，轻量级路由器在严格的成本限制下变得更具竞争力，并且用户调节的路由持续改善个性化。