EasyBalance：分布式 MoE 推理中的跨层负载均衡

负载平衡已成为专家混合 (MoE) 模型的专家并行分布式推理中的一个关键问题。由于路由分配通常在专家之间存在偏差，因此在专家计算期间托管负载较轻的专家的设备必须空闲以等待负载最重的专家，从而导致效率低下。现有的负载均衡方法主要依赖于每层内的专家复制或迁移，这会带来额外的开销并限制其灵活性和可扩展性。为了解决这个问题，我们提出了 EasyBalance，这是一种跨层负载均衡策略，不需要修改专家设备映射，从而实现即时适应性并且基本上不会产生额外的开销。我们的主要见解是：（1）其他层的专家可以被视为当前层的自然冗余，（2）跨层 MoE 工作负载可以联合执行，以减轻它们各自的不平衡。根据这些观察结果，EasyBalance 贪婪地调度跨层工作负载的子集在每个 MoE 步骤运行，并推迟剩余工作负载以供将来的平衡机会，从而有效地利用跨层不平衡缓解。跨模型、任务和配置的大量实验表明，EasyBalance 始终如一地加速分布式 MoE 推理，将 GPU 空闲率减少了 40% 以上。代码可在 https://github.com/yize-wu/EasyInfra 获取。