论文
专家何时会走错路？混合专家语言模型中的反事实路由分析
When Are Experts Misrouted? Counterfactual Routing Analysis in Mixture-of-Experts Language Models
摘要
专家混合 (MoE) 语言模型将每个标记路由到一小部分专家，但是很少直接评估经过训练的 top-$k$ 路由器选择的路由是否良好。保持模型固定，我们将每个标准路线与相同词元的采样等计算替代方案进行比较，并根据在验证的推理轨迹中分配给已实现词元的下一个词元概率对每个路径进行评分。结果是明显的词元条件：标准路由器与可信词元上的路由实用程序很好地一致，但对于驱动硬推理的脆弱词元没有提供信息，其中较低损耗的等计算路由始终存在于冻结模型内但不被选择。同样的模式适用于 Qwen3-30B-A3B、GPT-OSS-20B、DeepSeek-V2-Lite 和 OLMoE-1B-7B，并且在结构上遵循标准 top-$k$ 训练评估路由决策的方式：语言建模损失仅对执行的路由进行评分，负载平衡仅取决于聚合路由统计数据。对最后层路由器进行最小的仅路由器更新，使每个专家和所有其他路由器冻结，足以在 Qwen3-30B-A3B 和 GPT-OSS-20B 的 AIME 2024+2025 和 HMMT 2025 上转移 pass@K，这表明至少部分故障反映了路由器可到达的错误分配，而不仅仅是专家容量。