打破结构同一性：等级异构下的个性化联邦LoRA 微调

大语言模型 (LLM) 在不同领域取得了显着的成功，但它们对隐私敏感的分布式数据集的适应仍然是一个挑战。虽然联邦学习（FL）与低秩适应（LoRA）相结合为协作 微调 提供了资源高效的范例，但实际部署受到资源异构和数据异构的双重挑战的阻碍。现有的等级异构方法主要关注桥接维度不匹配以进行聚合，但通常为共享相同等级的所有客户端提供统一的全局模型，无法捕获非 IID 场景中特定于客户端的特征。在本文中，我们提出了 FedRoRA（联邦排名式个性化 LoRA），这是一种新颖的框架，可以在排名异构的联邦中实现细粒度的个性化。 FedRoRA 将适应解耦为共享的全局方向和由可学习的对角尺度控制的个性化排名大小。在服务器端，它通过奇异值分解（SVD）提取全局子空间，并通过个性化投影和 top-$k$ 选择机制重新分配客户端特定的初始化。对 NLU 和 NLG 基准的大量实验表明，FedRoRA 始终优于最先进的方法。