ORACLE：基于自适应验证器校准反馈的智能体AI编排器路由

现代企业智能体部署由能力和成本各异的大语言模型（LLM）异构池组成。现有模型路由策略优化质量-成本权衡，但提供的是请求级的静态决策。较新的方案将智能体路由处理为任务级选择，采用基于串行验证器的路由器反馈回路。然而，其适用于同质工作负载的固定验证器可能无法泛化到异构的智能体任务批次（例如：编程、一般对话）。此外，由于验证器位于回路的关键路径上，在多个并发请求路由期间服务质量可能受到影响。为缓解这些问题，我们提出 ORACLE。它是一种并发感知的在线路由机制，将自适应路由与用于反馈的自适应验证相协调。ORACLE 作为免训练、可直接插入的"反馈回路"叠加在任何模型选择策略之上，先对任务类型分类，再动态指派适合该任务的验证器。进一步地，我们为并发请求开发了延迟反馈策略，在很大程度上将验证器延迟从调度关键路径上移除。随后我们提出一个路由后调度器，名为 DISC。DISC 在准入时预留每个任务的峰值 KV 占用，当减少等待带来的奖励收益超过精度下降造成的奖励损失时，将其调度到备用后端。在 SWE-bench、tau2-bench 和 Terminal-Bench 2.0 上的大量评估表明，ORACLE 相比最先进的路由基线可将准确率-成本前沿提升最多 7 个百分点，而 ORACLE 与 DISC 结合可将程序吞吐量提升最多 1.8 倍。