ParetoBandit：用于非固定 LLM 服务的预算节奏自适应路由

多模型 LLM 服务在非静态、嘈杂的环境中运行：提供商修改定价，模型质量可能会在没有通知的情况下发生变化或下降，并且新模型会定期到达。最近有十多种方法提出了学习路由器来导航跨 $\sim$530$\times$ 成本范围的投资组合所产生的质量-成本权衡。尽管有这项活动，当前解决方案空间中的两个差距限制了在这些条件下的路由有效性：没有现有路由器在开放式请求流的闭环中强制执行以美元计价的成本上限，并且没有提供有原则的在线适应以适应部署后定价或模型质量的变化。我们推出了 ParetoBandit，这是一种基于成本感知上下文强盗构建的开源自适应路由器，可以解决这两个问题。其核心贡献是：（1）在线原始双预算步调器，在没有已知范围的情况下强制执行每个请求的成本上限，以及（2）对足够统计数据的几何遗忘，为强盗提供用于跟踪质量和成本变化的有限内存。热插拔模型注册表进一步支持通过预算控制的探索进行运行时模型更改。在具有三模型组合的 1,824 个基准提示中，该路由器将预算合规性保持在 0.4% 以内，以高达 +0.071 的质量提升来适应价格和质量变化，并在 $\sim$142 步内集成冷启动模型。