ResBM：低带宽管道并行性的残余瓶颈模型

解锁大规模低带宽分散训练有可能利用其他未开发的计算资源。在集中式设置中，大规模多节点训练主要通过数据和管道并行性来实现，这两种技术需要超高带宽通信。虽然现在存在分散数据并行的有效方法，但管道并行仍然是主要挑战。最近的工作，例如子空间模型 (SM)，声称具有高达 100 倍的激活压缩，但依赖于复杂的约束优化，并且偏离了真正的端到端训练。在本文中，我们提出了一种不同的方法，该方法基于从头开始设计的架构，适合低带宽通信环境，同时仍然适用于任何基于 Transformer 的标准架构。我们将此架构称为残差瓶颈模型或 ResBM，它引入了跨管道边界的残差编码器-解码器瓶颈模块，该模块可以作为模型参数的一部分进行端到端训练，同时保留显式的低秩身份路径。我们证明 ResBM 实现了最先进的 128 倍激活压缩，而收敛速度没有显着损失，也没有显着的内存或计算开销。