面向LLM服务多目标路由的在线线性规划

我们研究大语言模型服务中的在线路由问题——请求按序到达——必须在严格的批大小与KV缓存约束下被派发到并行解码工作器。与广泛使用、未绑定显式服务级目标（SLO）且对延迟-吞吐量权衡控制有限的路由启发式不同——我们引入多目标优化框架——将路由形式化为带可解释决策奖励的在线线性规划。我们应用基于在线线性规划的高效bid-price控制策略——当请求的SLO加权收益超过其影子价格时接纳请求。为满足毫秒级决策要求——我们开发热启动、投影一阶更新——以可预测运行时在线追踪演化的对偶影子价格。我们将路由器集成到Vidur模拟器——并展示在多个SLO机制（包括端到端延迟、首token时间、吞吐量与尾部性能）上相对标准基线的大幅改进。从结果得出的大局观：基于科学的方法胜过基于启发式的方法。