学习子空间压缩以实现高效通信的管道并行性

管道并行性使得 大语言模型 的训练能够超过单设备内存，但在低带宽网络上训练时，级间激活通信成为主要瓶颈。该领域最近的工作提出使用固定正交投影来压缩激活。然而，这仍然会导致性能显着下降，并且需要许多非标准的调整来限制优化。一种自然的选择是学习每个管道阶段的低秩投影，但是在训练期间保持这些投影仪必要的正交性仍然是一个挑战。我们提出了流形感知投影学习（MAPL），这是一种在显式 Stiefel 流形（正交矩阵）约束下将级间压缩视为可学习正交投影的方法。 MAPL 没有规定固定的全局子空间，而是让每个管道阶段通过流形约束最速下降来发现并不断调整自己的任务最优压缩子空间。为了在阶段边界恢复特定于词元的信号，我们引入了每阶段因式分解的锚嵌入，该嵌入允许以可忽略的通信开销进行全秩激活重建。我们进一步表明，我们可以将投影后的残差矢量量化与分摊字典通信的流码本同步协议结合起来。在从 150M 到 1B 参数的 LLaMA 模型中，我们表明 MAPL 可以轻松应用于现有管道，并且可以在性能下降可忽略不计的情况下实现高压缩，与子空间网络相比，性能与压缩之间的权衡得到显着改善。