单独的路由漂移并不能诊断合并的 MoE LLM 中的故障

模型合并可以有效地组合专门的大语言模型 (LLM)，无需联合再训练，但可以显着改变专家混合 (MoE) 模型中的专家路由。这种 \emph{路由漂移} 通常被解释为路由故障，从而提出了一个仍不清楚的基本问题：\emph{MoE 合并后的路由漂移实际上表明路由故障吗？什么证据应该证明修复的合理性？}我们通过 DeepSeekMoE、OLMoE 和 Qwen3-MoE 调查这些问题，提出了一个用于受控反事实干预和词元级分析的路由分析工具包。通过交叉源和合并的路由器输入和参数，我们将大多数专家重新分配归因于输入变化而不是同一层的参数变化。然而，源相对路由差异很难预测源路由恢复中的下一个词元似然增益，并且不同的专家选择可以产生方向相似的混合输出。因此，我们将路由故障操作为 \textit{在固定非路由参数的情况下，在指定路由干预下任务丢失可恢复。}这些测试检测故意路由器损坏下的可恢复丢失，而源路由恢复并不能在评估的合并模型中建立可靠的任务优势。受这些启发，我们提出 \emph{选择性路由器修复（SRR）} 作为案例研究，并发现源专家词元似然优势并不能可靠地识别有益的本地校正。总之，这些发现表明 \textbf{单独的路由漂移不足以证明路由失败}：来源知情的纠正必须根据其任务级干预效果来判断。分析工具包和SRR代码发布。