FedPA-LoRA：缓解异构联邦LoRA中聚合与初始化误差的乘积对齐框架

低秩适配（LoRA）使大语言模型的高效联邦微调成为可能，但其因子化参数化在本地更新的准确聚合与本地优化因子的连续性之间制造了张力：按因子聚合带来聚合不匹配但更好保持因子连续性，而乘积空间重构减少这种不匹配，代价是新重构因子带来更大的因子级初始化不匹配。我们提出FedPA-LoRA，一个乘积对齐的联邦LoRA框架，同时应对这两个局限，并在同构和异构客户端秩下均可证明收敛。每个客户端在通信轮次间保留其本地因子，并把其乘积对齐到秩特定的全局参考，在保持本地优化连续性的同时促进数据异构下的全局一致性。服务器在公共乘积空间聚合异构秩更新，并高效重构秩受限的全局适配器，而无需形成稠密聚合。该设计支持客户端特定的计算与通信预算。在自然语言理解和生成任务上的实验表明，FedPA-LoRA在不同数据异构程度以及同构与异构秩设置下均持续优于代表性基线，在异构客户端秩下GLUE平均准确率最高提升6.82个百分点。