SeFoRA：具有异构客户端等级的草图聚合联合低秩适应

我们考虑具有低秩自适应的大型神经网络的联合参数效率 微调 (LoRA,~Hu et al.\ 2022)。将 LoRA 与联合 PEFT 相结合会带来单独设置中不存在的挑战：客户端可能使用不同的 LoRA 等级，使其因子矩阵维度不兼容，并且因子平均会遭受双线性不匹配的影响。我们提出 SeFoRA，一种草图聚合的联邦 LoRA 算法，其中每个客户端传输其本地更新的线性草图，从而实现在联邦器处的直接聚合。因此，SeFoRA 减轻了双线性失配，并允许在完整模型的小子空间中进行聚合。我们引入了一个名为 SeFoRA-Ho 的同质等级版本，它允许在此设置中直接进行适配器聚合。我们证明在秩同质设置下，以 $\cO(1/T)$ 速率收敛到一阶驻点的邻域。在 GLUE 数据集上的 微调 RoBERTa-Large 上进行的数值实验表明我们的算法如何超越最先进的算法。