用于视觉 Transformer 的联邦 LoRA 中逐层全局排名发现的谱变换

微调 愿景 Transformer (ViTs) 与低秩适配器 (LoRA) 承诺在联合设置下实现更好的通信效率，但现有聚合策略面临根本限制。独立平均这些 LoRA 因子在数学上是不一致的，会引入跨项聚合误差。相比之下，通过连接服务器上的本地适配器来保留异构客户端排名的方法会大大增加下载成本，并且通常需要将全局 LoRA 更新合并到客户端上的预训练权重中，从而导致重新初始化滞后和不稳定的收敛。其他方法通过重建密集权重更新或训练辅助模型以细化聚合误差来进一步增加服务器端开销。在这项工作中，我们提出了 SpecTraL，即用于分层全局排名发现的谱变换，它可以在统一设计中解决这些挑战。 SpecTraL 堆叠来自客户端的本地 LoRA 模块，并直接在低秩潜在空间中对堆叠的适配器执行正交 Householder 变换，从而消除了全局更新的密集重建和服务器上的任何辅助细化。通过利用随机矩阵理论中的尖峰协方差模型，SpecTraL 通过分析将全局一致性信号与非 IID 噪声分开，从而无需手动调整超参数即可发现最佳的逐层全局排名。为了在后续回合中匹配本地排名，我们引入了一个填充感知初始化框架，该框架允许客户端合并剩余的 LoRA 维度，而无需将它们重新合并到预先训练的基础模型中。在 DomainNet 和 NICO++ 上对 ViT-B/16 和 ViT-L/16 的联合 微调 进行的实验表明，改进了准确性通信权衡，减少了服务器计算，并消除了用于排名选择的超参数搜索。我们的代码位于 https://github.com/DASS-Lab-Group/SpecTraL