预训练一次，随处路由：迈向 LLM 路由的基础模型

大语言模型 (LLM) 路由旨在将每个查询分配给异构候选池中最合适的模型，从而改善 LLM 推理的质量与效率权衡。现有的路由器通常是通过本地拟合来学习的：路由器针对特定查询工作负载和候选池进行了优化，并且随着路由环境的变化通常需要额外的监督或重新训练。我们询问是否可以从基础模型的角度来处理 LLM 路由，学习可重用的路由功能，该功能可以跨任务、候选模型和部署条件进行泛化。为此，我们引入了 RouteFM，它学习从行为上下文中表征匿名候选模型并推断其特定于目标的功能，而不是将路由决策绑定到固定模型身份或单一环境。通过跨异构路由环境的阶段性预训练，该功能可以被冻结的路由器重用，并仅通过上下文适应新环境。实验证明了跨领域、模式、候选池和背景预算的变化的转移，当行为证据有限时，收益最大。在排除在预训练之外的 MMR-Bench 上，RouteFM 比最强基线高出 2.23 个质量点，每个候选只有 8 个观察值。这些结果支持将 LLM 路由从重复的本地拟合转向预训练一次，路由任意范例。我们的代码可在 https://github.com/LAMDA-Model-Reuse/RouteFM. 上公开获取