论文
FedLore：通过共享梯度低秩投影实现通信和内存高效的联合学习
FedLore: Communication and Memory Efficient Federated Learning via Shared Gradient Low-Rank Projection
摘要
基础模型的联合训练受到客户端内存和通信成本的限制。基于 LoRA 的方法通过低秩适配器降低了这些成本，但其固定的秩预算可能会限制自适应。梯度低秩优化提供了更大的灵活性，但独立选择的客户端子空间产生了一个我们称之为 \emph{subspace fragmentation} 的问题：局部投影与数据异构性相互作用，从而使聚合方向产生偏差，而聚合会增加更新秩和通信成本。因此，精确的局部梯度压缩不需要保留全局下降。我们提出\texttt{FedLore}，它在每轮内共享低秩优化基础，并在各轮之间刷新它。共享基础能够在低阶坐标中进行精确聚合，并消除已识别的投影偏差。子空间刷新允许累积的模型更新超过每轮排名预算。我们描述了聚合偏差，并在全局梯度覆盖条件和标准平滑度和方差假设下，建立了投影 SGD 变体的 $O(T^{-1/2})$ 平稳性界限，并具有有界梯度异质性。视觉和语言任务（包括联合预训练）的实验表明，\texttt{FedLore} 的性能优于评估的低秩适配器基线，并匹配或超过全参数训练，同时减少通信和优化器状态记忆。