论文
RouteGuard:当模型互补不足以保证收益时,认证LLM多智能体路由的改善
RouteGuard: Certifying Routing Gain in LLM Multi-Agent Systems When Complementarity Is Not Enough
摘要
多代理 LLM 系统在模型支持的顾问程序之间进行路由,但部署人员在交付之前很少知道路由是否有帮助。流行的路由器优化了门的 AUC 并假设顾问的互补性就足够了。我们证明两者都决定了可部署的增益。我们引入 RouteGuard,一个部署认证框架。路由增益分解为 $G = πΔ_E$,可实现的增益由条件后悔函数 $Φ$ 控制,而不是由 AUC 控制。有限样本认证支架具有匹配的 Le Cam 下限、固定活动类别上的恒定锐度以及鲁棒性相变。在两个基准测试中,该框架充当护栏。在 RouterBench(11 个跨系列型号)上,结论取决于采样单元:该协议在提示级采样下证明了优于 GPT-4 的增益,并在工作负载集群重采样下保留它,因为增益取决于 86 个工作负载单元中的 3 个。在 OpenRCA(三个 Gemini 顾问)上,顾问在统计上是冗余的:在我们测试的所有池(221 个 RouterBench 池和三个 OpenRCA 发行版)中,实现的预言机位于或低于独立基线,因此协议正确地拒绝认证。预先注册的半合成对照确认校准:协议一旦 $m \ge m^\star$ 就证明真正的增益,并且不证明真正的零值。代码和冻结工件将随发布版本一起发布。