MoE 路由测试台：研究小规模的专家专业化和路由行为

稀疏专家混合 (MoE) 架构在前沿 大语言模型 (LLM) 中越来越受欢迎，但由于路由复杂性，它们带来了训练挑战。充分利用 MoE 模型的参数需要所有专家都接受良好的训练并以非冗余的方式专业化。然而，由于缺乏既定的指标，评估这一点很复杂，而且重要的是，许多路由技术在较小规模下表现出类似的性能，这通常不能反映它们在大规模时的行为。为了应对这一挑战，我们提出了 MoE 路由测试床，该设置可以在使用真实数据的同时更清晰地了解小规模的路由动态。该测试床将具有明显可区分域的数据混合与参考路由器配对，参考路由器根据这些域规定理想路由，从而提供明确定义的上限进行比较。这使得专家专业化的量化测量成为可能。为了证明测试台的价值，我们比较了各种 MoE 路由方法，并表明平衡范围是允许专业化同时保持高专家利用率的关键因素。我们确认这一观察结果适用于 35 倍大的模型。