动态LLM路由常被误导

动态LLM路由器承诺把每个查询发给能正确回答的最便宜模型以节省推理成本。我们在横跨八个任务类的多样基准上、14种设置中分析六个商用路由器，发现没有一个在匹配成本下胜过在两个精选模型间随机选择的路由器，有些落后超过10个百分点。我们把差距追溯到路由器中普遍存在的四种模式：难度盲视、长度反转、语义匹配与名单次优。我们证明前三种正是标准目标所奖励的：已实现成本上的成本-准确率帕累托效率偏好升级中等难度查询而非最难查询，偏好较短查询，并按查询来源而非难度路由。我们还论证了为大会名单辩护的两个假设——模型粒度与模型专业化——在经验上不成立。我们提出一种不奖励这些模式的替代评估方法，并作为概念验证设计了一个避开全部四种模式的简单双模型路由器；然而它相对随机路由的增益有限，因为精选名单已没什么可路由。