论文

扩展企业代理路由:降级、诊断和恢复

Scaling Enterprise Agent Routing: Degradation, Diagnosis, and Recovery

智能体系统Agent 工具调用

摘要

生产 LLM 助手将用户请求路由到不断增长的专用工具库,但路由准确性如何随着目录规模的扩大而降低?我们研究了来自已部署的企业生产力助理的 110 个代理、584 个工具目录上的单步路由,评估了 10 到 110 个代理的三个前沿模型。跨模型针对未指定请求的路由 F1 下降了 16--23 个百分点。预言机分析将降级分解为 \emph{retrieval} 差距(模型无法提供正确的工具)和 \emph{confusion} 差距(即使完美的检索,预言机上限也会下降 10pp)。基于嵌入的入围名单在所有三个模型和两个提供商中全面恢复了 +10--11pp F1。一项生产注释研究(1,435 个人工标记的话语,三个注释者)证实,尽管绝对性能降低了 10--15pp,但实际流量恢复了 +10--17pp。