具有低秩适应的子空间约束联邦学习

在通信和隐私限制下，联合低秩适应方法对于 微调 大型模型很有吸引力，但异构客户端数据可能会导致本地低秩更新之间的几何失准。我们研究这种子空间错位是否会导致基于 LoRA 的联邦学习中的破坏性聚合和收敛速度变慢。我们提出了一个子空间正则化联合 LoRA 目标，鼓励本地客户端更新保持接近共享的全局参考子空间。我们在非 IID 10 客户端联合设置中的 HellaSwag 上对两个预训练模型 RoBERTa-large 和 SmolLM-360M 进行了完整的实证评估，涉及 3 个随机种子（42、43、44），总共产生 24 次实验运行（4 个方法 x 3 个种子 x 2 个模型）。在 RoBERTa-large 上，Subspace-Reg 在所有三个种子中实现了最强的平均最佳精度 (0.454 +/- 0.023)、平均最终精度 (0.429 +/- 0.011) 和最低的最终损失 (1.363)，大幅优于 FedAvg、SVD 再分配和 FedSVD 基线。在 SmolLM-360M 上，FedAvg 领先于准确度，这表明准确度增益与模型相关。至关重要的是，Subspace-Reg 在两个模型和所有种子上都实现了近乎完美的基础重叠，约为 0.9999，而所有基线的重叠为 0.958 至 0.991，为几何对齐假设提供了强有力的支持。该代码可在 https://github.com/sadia-sigma-lab/Subspace-Constrained-Federated-learning-with-Lora 上公开获取。