路由高原：了解 LLM 路由器的精度限制

LLM 路由已成为一种流行的方法，通过自适应地为每个查询选择模型来改善 LLM 服务的成本质量权衡。最近的工作探索了广泛的路由方法，包括基于集群的路由器、学习分类器、成对排名和基于置信度的方法。我们对 5 个基准测试中的 21 种路由方法进行了广泛研究，揭示了一个一致的现象，我们称之为路由高原（图 1）：包括 kNN 在内的许多方法都实现了非常相似的精度，但收敛到一个狭窄的性能范围，该范围仍远低于预言机路由器。我们的分析支持正确性预测瓶颈假设：当前的路由器主要学习全局平均模型性能趋势，而不是细粒度的、特定于查询的路由信号。因此，它们在需要特定于实例的路由决策的查询上都会失败。此外，为了了解是否可以通过更好的训练设置来缓解平台期，我们构建了一个 300K 查询基准（9×300k）。更多的数据、更大的编码器和端到端 微调 将八个路由器平均提高了 1.24 pp，但基本保持平稳状态。这些发现表明，进一步的进展可能需要查询本身之外的输入，例如揭示模型如何尝试任务的部分输出轨迹。