FedSmoothLoRA：在联邦低秩适应中实现更平滑、更快的收敛

具有低秩适应 (LoRA) 的基础模型的联合 微调 提供了一种有效的解决方案，可降低通信和计算成本，同时保留数据局部性。然而，FedAvg和LoRA的直接结合存在三个关键问题：更新空间有限，限制了模型的有效学习能力；轮间状态不匹配，破坏了跨轮局部优化的连续性；以及与客户端无关的启动状态，这会减慢客户端的本地收敛速度。尽管最近的方法通过将 LoRA 更新合并到通信轮次的主干中来缓解有限的更新空间问题，但轮次间状态不匹配和客户端不可知的启动状态仍然没有得到充分解决。为了解决这些问题，我们提出了 FedSmoothLoRA，这是一个联邦 LoRA 调优框架，可以保留扩大的更新空间，提高跨轮本地优化连续性，并为本地训练提供客户端感知的起始状态。在每一轮通信中，FedSmoothLoRA 使用两个矩阵构建本地 LoRA 初始化：一个是保留跨轮本地状态连续性的轮匹配矩阵，另一个是根据本地数据估计的梯度信号提供特定于客户端的优化指导的梯度对齐矩阵。这些设计共同实现了更平滑、更快的收敛。关于图像分类和自然语言生成任务的大量实验表明，FedSmoothLoRA 始终优于现有的联合 LoRA 调优方法。代码：https://github.com/wangzehao0704/FedSmoothLoRA