在保证用户满意度的情况下，具有有限用户反馈的成本最优 LLM 路由

在需求激增和基础设施成本上升的推动下，大语言模型 (LLM) 应用程序的推理成本正在快速增长。用户期望高质量的响应，而在商业环境中，这被正式写入服务级别协议 (SLA)，从而在成本和质量之间造成根本性的紧张关系。成本感知 LLM 请求路由的最新进展已显示出解决这种紧张局势的潜力，但现有方法依赖于完整的反馈信号、离线训练、广泛的每个工作负载调整，并且大多数缺乏 SLA 保证或推理时间自适应性。我们引入了 SLARouter，这是一种在线路由算法，可以从生产系统中可用的稀疏、片面的用户反馈中学习成本最优策略。 SLARouter 为成本优化和严格的 SLA 合规性提供了理论保证。各种 LLM 基准测试的实验表明，SLARouter 无需针对每个基准进行调整即可满足 SLA 约束，与现有基准相比，运营成本最多可降低 2.2 倍。