PROTEUS：基于拉格朗日RL的多LLM服务系统SLA感知路由

生产级LLM部署服务多样工作负载，其中成本和质量要求随客户层级、时段和查询关键性而变化。模型服务系统直接接受延迟SLO，而LLM路由器不接受。它们迫使运维者离线调参并猜测可能达到的准确率。参数与结果之间的关系是间接的、非单调的且依赖数据集。运维者需要指定准确率目标，而非从不透明的设置中推断。我们提出PROTEUS（Polymorphic Router for Operational Target Enforcement with Unified SLA），一个接受准确率目标tau作为运行时输入的路由器。PROTEUS使用拉格朗日对偶控制。学习到的对偶变量lambda在训练期间跟踪约束违反并调节策略网络。这使路由器能将指定的tau值转化为满足它们的路由决策。单一训练模型服务整个准确率谱系而无需重训练。我们在RouterBench（11个模型，405K查询）和SPROUT（14个模型，45K查询）上评估。PROTEUS实现一致的底线达标，准确率满足或超过tau。目标-响应相关系数达0.97至0.98。最接近的基线OmniRouter尽管同样使用拉格朗日优化，仅在22%的情况下达到底线。PROTEUS以单一模型运作于[0.85, 0.95]的tau范围。在RouterBench上达到90.1%准确率，距oracle 1.3%以内。在SPROUT上达到94.0%准确率，距oracle 4.6%以内。相较最佳固定模型，成本节省达89.8%。