路由分歧并不是同权重 MoE 自 蒸馏 中行为影响的证据

两个专家混合 (MoE) 前向传递可以共享每个权重，但通过不同的专家路由相同的词元。这会在相同权重的自我 蒸馏 中产生一个可能的盲点，其中演示条件教师监督仅查询的学生。我们以单步形式研究这种不匹配，使用冻结权重，而不是作为完整训练轨迹的代理。精确的分块分解将在固定内容处改变门的路由项与密集内容项分开。在七个开放权重检查点和两个域中，路由项仅占块输出的一小部分 $1.6\times$，而其剩余流暴露范围为 $3.2\times$。曝光按路由块在残差中所占的份额排序。在两个验证模型中扩展始终在线的骨干网会单调地移动暴露；共模控制支持质量和相干机制，而不仅仅是分母稀释。三个模型上的预注册 PubMedQA 补丁显示，完整的路由项将输出移动的幅度不到自然上下文效应的一半，并且很大程度上由匹配规范噪声再现，而内容项则具有很强的方向特定性。规模和合并专家探测表明，狭窄的块级范围并不普遍，尽管在测试边界处的暴露仍然很小。因此，路由器移动本身并不能证明行为影响：首先测量暴露程度，并在决策重要时使用行为干预。