论文
CF-LoRA：用于联合 LoRA 微调的解耦因子聚合和适应感知客户端集群
CF-LoRA: Decoupled Factor Aggregation and Adaptation-Aware Client Clustering for Federated LoRA Fine-Tuning
摘要
联合 LoRA 微调可以在不共享私有数据的情况下对预训练模型进行参数高效的调整，但在异构客户端数据下会遇到两个基本的不匹配问题：独立平均 LoRA 因素导致的结构聚合不匹配，以及跨不同客户端强制使用单一全局适配器导致的统计协作不匹配。为了解决这些问题，我们提出了 CF-LoRA，这是一种集群联邦 LoRA 微调框架，它将解耦因子聚合与适应感知客户端集群相结合。 CF-LoRA 首先学习全局共享的 $A$ 因子，同时保留个性化的 $B_i$ 因子，然后根据学习到的 $B_i$ 因子的余弦相似度识别具有相似适应模式的客户端，最后使用冻结的 $A$ 因子进行集群内 $B$ 因子聚合。通过解耦LoRA因子聚合，CF-LoRA保留了低秩结构并减轻了结构聚合不匹配，而适应感知聚类促进了具有相似适应模式的客户端之间的协作，并减少了统计异质性引起的负迁移。使用 RoBERTa 和 ViT 对四种语言任务和四种视觉数据集进行的实验表明，CF-LoRA 在两种模式中实现了最高的平均准确度，同时每轮优化仅传达一个 LoRA 因子。