混合专家的精确分位数平衡和负载误差注入

专家混合 (MoE) 训练需要全局负载平衡，以防止专家利用率不足，并需要本地平衡，以实现高效的专家并行执行。现有的分布式分位数平衡（QB）使用依赖于分片或近似的全局分位数，而与词元无关的专家偏差无法确保微批次级别的平衡。我们引入了精确分位数平衡 (EQB)，它可以通过可忽略的通信来计算精确的全局批量 BF16 分位数，以及负载误差注入 (LEI)，它将本地负载误差直接注入到路由器分数梯度中。在接受最多 500B 词元训练的 7.5B 参数 MoE 上，EQB 比朴素 QB 改善了全局平衡和下游性能，而 LEI 改善了局部平衡，并且在同等质量下优于 GShard 损失。