统一 LLM 预训练的本地通信和本地更新

随着训练利用跨集群、数据中心和较低带宽链路分布的计算，LLM 的通信效率 预训练 变得越来越重要。许多实用方法降低了通信频率，但仍然依赖于同步 All-Reduce 操作，以维持相同的模型状态并将进度与全局集体联系起来。当带宽或工作速度异构时，这可能成为瓶颈。我们引入了 GASLoC，一种新颖的去中心化 预训练 算法，它将通信加速的概念推广到最近流行的“外部优化器”，以允许一个实用的基于八卦的训练框架，该框架与自适应优化器兼容，允许本地优化器步骤，并且可以利用稀疏随机对等通信。根据经验，在许多标准 LLM 训练任务上，我们证明了 GASLoC 在多种拓扑的单步通信设置中优于最先进的去中心化算法，并且与 LLM 设置中现有的去中心化方法不同，它可以在利用多个本地步骤时获得与 DiLoCo 竞争的性能。在异构带宽设置中，我们展示了 GASLoC 的优势，表明它可以显着优于 DiLoCo。