RouteJudge：可重复且偏好感知的开放平台 LLM 路由

我们推出了 RouteJudge，一个针对 LLM 路由系统的在线成对偏好评估框架，其公共平台位于 https://routejudge.cn。与模型级响应评估不同，RouteJudge 侧重于路由器级决策质量。对于每个用户查询，多个路由策略在相同模型池和预算约束下独立推荐候选模型。然后，通过匿名成对比较将选定的模型响应呈现给用户，并将得到的用户偏好归因于比较响应背后的路由策略。每个评估记录都存储查询、路由决策、模型响应、偏好标签、成本、延迟和任务元数据，从而实现 LLM 路由器的偏好感知、成本感知和任务条件分析。为了支持RouteJudge中路由方法的不断扩展，我们进一步发布了ORBIT（Optimal Routing and Budgeted Inference Toolbox），这是一个模块化、可扩展的工具箱，标准化了LLM路由的端到端工作流程。 ORBIT 为基准加载、查询表示、路由器实现、预算感知评估和方法比较提供统一的接口，使研究人员能够在一致的协议下开发和评估路由算法。它还充当 RouteJudge 的提交和集成层：研究人员可以在 ORBIT 内实现路由方法，在现有路由基准上对其进行验证，并提交兼容的路由器以进行基于偏好的在线评估。 ORBIT 的代码可在 https://github.com/LAMDA-Model-Reuse/ORBIT 获取。