重新思考联邦 LoRA 中的因素共享：一种排名感知的自适应方法

低秩适应（LoRA）表示具有两个紧凑矩阵因子（即$A$和$B$）的大语言模型（LLM）更新，提供了一种在联邦学习范式中微调大型模型的有效方法。受 LoRA 因素的不对称作用的启发，我们研究了 $A$ 是否应该在客户端之间共享，而 $B$ 仍然是特定于客户端的 (Share-A/Local-B)，或者 $B$ 是否应该共享，而 $A$ 仍然是特定于客户端的 (Share-B/Local-A)。通过最小二乘代理，我们发现 Share-A/Local-B 需要特定于客户端的 LoRA 更新矩阵来使用公共的rank-$r$ 输入侧空间，而 Share-B/Local-A 需要公共的rank-$r$ 输出侧空间。因此，这两种策略会产生不同的预测残差，这表明首选策略是跨客户的总残差较小的策略。有了这种见解，我们提出了联合自适应因子共享低秩自适应（FedAS-LoRA），它在训练之前选择共享方以增强 微调 性能。为了在训练前实现自适应因子选择，我们设计了一个排名感知共享子空间充足性（RSS）指标，该指标使用从冻结的 LLM 主干提取的表示来有效评估共享排名 $r$ 输入子空间是否足以满足本地数据分布。跨不同任务、数据分布、LoRA 排名和参与设置的实验证实了 RSS 的有效性和 FedAS-LoRA 的卓越性能。