OptINC：用于可扩展分布式学习的光网络计算

分布式学习广泛用于在大型数据集上训练大型模型，方法是将模型或数据集的部分分布在多个设备上，并聚合计算结果以进行后续计算或参数更新。现有的分布式学习通信算法（例如ring all-reduce）会导致服务器之间的通信开销过大。由于大规模系统中的通信使用光纤，因此我们提出了光网络计算（OptINC）架构，将服务器中的计算卸载到光互连上。为了在光域中执行梯度平均和量化，我们将马赫曾德尔干涉仪 (MZI) 等光学设备集成到互连中。这种事实上的光学神经网络（ONN）可以有效减少现有分布式训练解决方案中的通信开销。为了降低训练该神经网络的数据集复杂性，还提出了一种在光域中实现的预处理算法。通过使用酉矩阵和对角矩阵来近似光学神经网络的权重矩阵，可以降低硬件成本，同时通过提出的硬件感知训练算法来保持准确性。所提出的解决方案在真实的分布式学习任务上进行了评估，包括 CIFAR-100 上的 ResNet50 和 Wikipedia-1B 上基于 LLaMA 的网络。在这两种情况下，所提出的框架都可以实现与环 all-reduce 基线相当的训练精度，同时消除通信开销。