论文

Mixture-of-Models:通过N-Way自我评估式协商统一异构智能体

Mixture-of-Models: Unifying Heterogeneous Agents via N-Way Self-Evaluating Deliberation

智能体系统Agent 协作

摘要

本文提出N-Way自我评估式协商(NSED)协议,这是一种运行时Mixture-of-Models(MoM)架构,能够从多个不同的专家智能体构建涌现式复合模型。与依赖静态门控网络的传统Mixture-of-Experts(MoE)不同,NSED采用动态专长代理(Dynamic Expertise Broker)——一个运行时优化引擎,它将模型选择视为背包问题的一种变体,依据实时遥测数据和成本约束将异构checkpoint绑定到功能角色上。在执行层,我们将协商形式化为宏观尺度的循环神经网络(RNN),其中共识状态通过语义遗忘门回路反馈,从而在不按比例增加显存的情况下实现迭代改进。关键组件包括用于无需信任的N对N同行评审的编排架构、用于非线性共识的Quadratic Voting激活函数,以及反馈驱动的状态更新。在具有挑战性的基准(AIME 2025、LiveCodeBench)上的实证验证表明,这种拓扑结构使小型(低于20B)消费级模型的集成能够匹敌甚至超越最先进的100B+参数模型的性能,确立了新的硬件套利效率前沿。此外,在DarkBench安全套件上的测试揭示了内在的对齐特性,同行中介的纠错将谄媚(sycophancy)分数降低到低于任何单个智能体的水平。