打破泡沫：具有有限权重不一致的异步管道并行训练

管道并行性对于训练大型神经网络至关重要，但现有的调度会权衡吞吐量、内存和优化一致性。同步管道保持前向/后向权重一致性，但会出现气泡；异步管道消除了气泡，但引入了权重版本不匹配，通常需要权重存储、预测或校正机制。我们引入了 PACI（受控不一致性的管道异步训练），这是一种无气泡异步管道方法，可以限制前向/后向版本漂移，无需权重存储、预测、额外参数副本或全局同步。关键思想是使用局部梯度累积作为版本控制机制：通过减缓相对于管道延迟的参数版本演变，PACI 限制任何微批次交叉的优化器更新数量，同时保持稳态利用率。在 GPT 风格的语言模型预训练中，PACI 与同步 1F1B-flush 的稳定性和最终困惑度相匹配，保留相同的峰值内存占用，实现充分利用的管道吞吐量，并相对最快的刷新基线，达到目标精度的训练时间最高改善1.69倍。这些结果表明，不需要消除前向/后向不一致：当明确限制时，可以安全地用它来换取显着的效率增益。