论文
隐私保护联邦学习中 LoRA 组件的自适应选择
Adaptive Selection of LoRA Components in Privacy-Preserving Federated Learning
摘要
LoRA 大型模型的差分私有联合 微调 会受到 LoRA 乘法结构引起的聚合误差的影响，该误差会被 DP 噪声进一步放大，从而降低稳定性和准确性。现有的补救措施在所有层和所有通信轮次中统一应用单一更新模式（或按固定时间表交替它们），忽略两个 LoRA 因素之间的结构不对称性和训练的轮次动态。我们提出了 AS-LoRA，一种由三个轴定义的自适应框架：（i）逐层自由度，其中每层独立选择其活动组件，（ii）逐轮自适应，其中选择在通信轮次中更新，以及（iii）从损失的二阶近似导出的曲率感知分数。理论上，AS-LoRA 消除了分层调度的重建误差层，加速了收敛，隐式地将解决方案偏向于更平坦的最小值，并且不会产生额外的隐私成本。例如，在严格的 DP 预算和非 IID 分区下，在 GLUE、SQuAD、CIFAR-100 和 Tiny-ImageNet 中，AS-LoRA 比联合 LoRA 基线在 GLUE 上提高了 $+7.5$ pp，在 MNLI-mm 上提高了 $+12.5$ pp，同时以 $33\text{--}180 \times$ 较低的聚合成本匹配或超过了基于 SVD 的聚合方法，并且通信开销可以忽略不计。所提出方法的代码可在 https://anonymous.4open.science/r/as_lora-F75F/ 上找到。