因素八卦 DiLoCo：减少 DiLoCo 中的阻塞通信

为了使大规模分布式训练在高带宽数据中心之外切实可行，我们必须减少阻塞、大容量同步。虽然 DiLoCo 通信频率较低，但其外部同步仍然占用大量带宽，并且容易出现掉队和短暂故障。我们通过混合/闲聊将精确同步放宽为近似同步，这在延迟和通信失败的情况下会优雅地降级。这使我们能够将 DiLoCo 同步分解为一个非阻塞混合步骤，该步骤与计算重叠而不会过时，以及一个阻塞混合步骤，该步骤加强工作人员一致性，从而在计算利用率和优化稳定性之间产生可调的权衡。在低带宽设置下的多达十亿个参数的语言模型上，与 DiLoCo 相比，我们的框架大大提高了计算利用率，训练进度从可比到紧密匹配，并且对失败更加稳健。