SDG-MoE：签名辩论图混合专家

稀疏 MoE 模型通过将每个词元路由到一小部分专家来实现容量和计算之间的良好平衡。然而，在大多数 MoE 架构中，一旦词元被路由，选定的专家就会独立处理它，并且他们的输出通过加权和进行组合。这使得它们之间的通信是否能够提高性能尚不确定。虽然之前的工作已经提出了这个问题，但活跃的路由专家之间的直接互动仍未得到充分探索。在本文中，我们提出了 SDG-MoE（专家签名辩论图混合），这是一种新颖的架构，在最终聚合之前添加了轻量级的迭代审议步骤。 SDG-MoE 引入了三个组成部分：(i) 两个针对活跃专家的学习交互矩阵、一个支持图 $A^+$ 和一个批评图 $A^-$，捕获强化和纠正影响； (ii) 签名消息传递步骤，在聚合之前更新专家表示； (iii) 分歧门控弗里德金-约翰森式锚定，控制审议强度，同时防止专家漂移。这些共同实现了结构化的审议过程，其中互动强度随着分歧而变化，并且专业化得以保留。我们还提供了建立专家状态稳定性条件的理论分析，并表明深思熟虑仅在活动集上增加低阶开销。在受控的三种子预训练实验中，SDG-MoE 提高了无符号图通信基线和普通 MoE 的验证困惑度，比最强基线高出 19.8%，并在比较系统中的 WikiText-103、C4 和 Paloma 上给出了最佳的外部困惑度。