通信高效、稳健、实用的分布式和联邦优化的理论基础

机器学习和优化齐头并进，实际需求催生新理论，理论突破催生新应用。现代大规模训练依赖于经典的优化原理，但分布式系统的约束要求重新考虑这些基础。本文解决了理论与实践交叉点的七个挑战，重点关注联邦学习和分布式优化的关键瓶颈。首先，我们介绍 ProxSkip 并证明局部梯度步骤可以加速通信，为这种广泛使用的启发式提供理论基础。其次，我们开发了方差减少的 ProxSkip，它消除了随机本地更新的邻域误差，同时平衡通信和本地计算。第三，我们表明本地步骤在部分客户参与下保留了其通信加速。第四，我们证明服务器端步长和无替换采样可以提高异构设置中的收敛性。第五，对于随机重新洗牌，我们证明压缩梯度差异而不是梯度可以产生更好的理论和实践性能。第六，我们确定可以使用梯度差裁剪同时实现拜占庭鲁棒性和部分参与。最后，我们开发了第一个基于随机不对称链的低秩适应理论框架，为 微调 大型模型提供了新的见解。在这些贡献中，我们引入了新颖的算法框架，在现实假设下建立了明确的保证，并通过数值实验支持了该理论。