论文
ORCH:多次分析、一次合并——面向离散选择推理、采用 EMA 引导路由的确定性多智能体编排器
ORCH: many analyses, one merge-a deterministic multi-agent orchestrator for discrete-choice reasoning with EMA-guided routing
摘要
大规模语言模型(LLM)的最新进展使多智能体架构在具有挑战性的推理任务中颇具吸引力。然而,许多现有系统依赖随机路由或临时性启发式规则,导致其行为难以复现、决策过程难以解释。我们提出 ORCH,一个面向离散选择推理、编排异构 LLM 的确定性协调框架。ORCH 遵循“多次分析、一次决策”范式:多个基础模型独立产出结构化分析,由一个专门的合并智能体输出最终选择。该框架采用固定规则进行任务分解与答案聚合,使流水线可预测、可复现且无需训练。这里的确定性指固定评测协议下固定的路由与聚合规则,而非跨部署的严格比特级可复现性。为利用模型互补性,我们可选地引入 EMA(指数移动平均)引导的路由器,利用历史准确率、延迟或成本更新智能体选择;由于它依赖基于答案的反馈,主要面向基准测试、受控评测或延迟反馈场景。在 MMLU、MMLU-Pro 与 GSM8K 上的实验表明,ORCH 稳定优于单模型基线与多数投票集成。在 MMLU-Pro 上,ORCH 相比最强基线将准确率提升超过 10 个百分点;在 GSM8K 上带来超过 50 个百分点的增益;McNemar 检验证实了统计显著性。EMA 路由器额外带来 0.7—2.0 个百分点的准确率提升,消融实验表明多智能体协作与路由均有显著贡献。总体而言,ORCH 为构建可控、可解释、可部署的基于 LLM 的离散选择推理智能体系统提供了一条务实路径。