LLM 代理中功能等效工具的延迟质量路由

工具增强型 LLM 代理越来越多地通过多个功能等效的提供程序访问相同的工具类型，例如在共享接口后面公开的 Web 搜索 API、检索器 或 LLM 后端。这会在运行时负载下产生提供商路由问题：路由器必须在延迟、可靠性和应答质量方面不同的提供商之间进行选择，而且在部署时通常没有黄金标签。我们引入了 LQM-ContextRoute，这是一个面向相同功能工具提供商的上下文强盗路由器。其关键设计是延迟质量匹配：路由器不是让低延迟抵消附加奖励中的不良答案，而是根据每个服务周期的预期答案质量对提供商进行排名。它将这种容量感知分数与特定于查询的质量估计和 LLM 作为判断反馈相结合，使其能够在线适应负载变化和提供商质量差异。在主要的网络搜索负载基准上，LQM-ContextRoute 将 F1 比 SW-UCB 提高了 +2.18 个百分点，同时保持在延迟质量前沿。在高异构性 StrategyQA 设置中，LQM-ContextRoute 避免了附加奖励崩溃，并且比 SW-UCB 提高了高达 +18 pp 的准确度；在异构 检索器 池上，它比 SW-UCB 提高了 NDCG +2.91--+3.22 pp。这些结果表明，相同功能的工具路由受益于将延迟视为服务能力，特别是当运行时压力和提供商质量异构性共存时。