OrcaRouter：面向生产的 LLM 路由器，具有混合离线在线学习功能

大语言模型 的快速发展，每个都具有不同的功能和推理成本，提出了一个实际的部署问题：给定传入请求，哪个模型应该处理它？我们推出了 OrcaRouter，这是一款面向生产的 LLM 路由器，它将基于 LinUCB 的词汇和句子嵌入功能的上下文强盗与混合离线在线学习协议相结合。离线时，OrcaRouter 通过在一组精心策划的路由提示上评估每个候选模型来获得完整信息反馈，从而生成用于拟合每个臂的一个岭回归器的奖励矩阵。在部署时，它从这些参数进行初始化，并且可以选择继续从强盗反馈中学习，在观察到其奖励后仅更新所选模型的手臂。在我们提交 RouterArena 时（2026 年 5 月 20 日），OrcaRouter-Adaptive 在公共 RouterArena 排行榜上排名第二，竞技场得分为 72.08，准确率达到 75.54%，每 1,000 个查询的成本为 1.00 美元。