RouteNLP：具有保形级联和 蒸馏 协同优化的闭环 LLM 路由

使用 大语言模型 服务不同的 NLP 工作负载成本高昂：在一个企业合作伙伴中，尽管超过 70% 的查询是小型模型能力范围内的常规任务，但推理成本超过了 20 万美元/月。我们提出了 RouteNLP，这是一个闭环框架，可在分层模型组合中路由查询，以最大限度地降低成本，同时满足每个任务的质量约束。该框架集成了三个组件：具有基于偏好数据和质量信号训练的共享任务条件表示的困难感知路由器；置信度校准级联，使用共形预测进行无分布阈值初始化； 蒸馏 路由协同优化循环可对升级故障进行集群，将目标 知识蒸馏 应用于更便宜的模型，并自动重新训练路由器，从而实现比非目标 蒸馏 两倍以上的成本改进。在企业客户服务部门进行的为期 8 周的试点部署中，每天处理约 5000 个查询，RouteNLP 将推理成本降低了 58%，同时保持了 91% 的响应接受度，并将 p99 延迟从 1,847 毫秒减少到 387 毫秒。在涵盖金融、客户服务和法律领域的六项任务基准上，该框架实现了 40-85% 的成本降低，同时保留了结构化任务 96-100% 的质量和生成任务 96-98% 的质量，人工评估确认 74.5% 的路由生成输出符合或超过前沿模型质量。