您无法从价目表中选择提供商：用于开放式权重 LLM 推理的市场感知路由

现有的 LLM 路由器使用静态每模型成本在模型中进行选择。我们表明，开放权重推理市场引入了第二个很大程度上被忽视的决策轴：选择模型后，客户仍然必须选择哪个提供商为其提供服务。通过跨 [nummodels] 个开放模型、竞争提供商、多种任务类型和三个测量波来测量实时端点，我们发现无法从价格表中推断出提供商的选择。不同提供商的同一模型在质量、延迟、可用性和价格方面可能存在巨大差异；价格较高的提供商始终速度更快，但价格并不能可靠地预测质量或可用性；提供者的可行性是任务选择性的，在知识任务上的一次部署几乎正常，但在多步骤推理上却出现灾难性的退化。我们将相同模型的提供商选择制定为价格接受者市场感知的路由问题。简单的测量地图策略路由到质量相当且健康的最便宜的提供商，产生匹配质量的节省，同时避免端点降级。由于地图会发生漂移，我们引入了 FACET，这是一种在线提供商路由器，用于验证每个（提供商 x 任务）的可行性方面，并在为未经认证的分支提供服务之前对锚点进行安全故障处理。在宽松的部署假设下，FACET 可以容忍不完美的任务分配和稀疏的反馈，而系统评估者偏差会暴露质量信号信任边界，可以通过地面实况探测或审计来缓解。实时提供商运行进一步确认认证可以将真实流量从优质锚点转移到便宜得多的认证端点。我们的结果表明，具有市场意识的大语言模型路线不仅必须衡量使用哪种模型，还要衡量谁为该模型提供服务。