当路由坍缩时：论 LLM 路由器的退化收敛

LLM 路由旨在通过把简单查询动态分配给较小模型、把较难查询分配给更强模型，实现理想的性价比权衡。然而，在单模态与多模态两种设置中，我们都发现了现有路由器中一种普遍却未被充分研究的失效模式：随着用户成本预算增加，路由器会系统性地默认选用最强也最昂贵的模型，即便更便宜的模型已经足够。其结果是，当前路由器未能充分利用小模型，浪费算力与金钱成本，损害了路由的核心承诺；我们把这一现象称为路由坍缩（routing collapse）。我们把路由坍缩归因于目标-决策失配：许多路由器被训练来预测标量性能分数，而路由决策最终取决于候选模型之间的离散比较。因此，微小的预测误差就可能翻转相对排序并触发次优选择。为弥合这一鸿沟，我们提出 EquiRouter，一个直接学习模型排名的决策感知路由器，恢复小模型的作用并缓解路由坍缩。在 RouterBench 上，与最强的先前路由器相比，EquiRouter 在 GPT-4 级性能下把成本降低约 17%。我们的代码发布于 https://github.com/AIGNLAI/EquiRouter。