论文
微调 损害长尾个性化联邦学习中基础模型的平衡性
Fine-Tuning Impairs the Balancedness of Foundation Models in Long-tailed Personalized Federated Learning
摘要
具有基础模型的个性化联合学习（PFL）已成为一种有前景的范式，使客户能够适应异构数据分布。然而，现实世界的场景经常面临非独立同分布数据和长尾类别分布的同时出现，这带来了 PFL 中尚未充分探索的独特挑战。在本文中，我们研究了这种长尾个性化联合学习，并观察到当前的方法存在两个局限性：（i）由于基础模型中固有类别平衡的侵蚀，微调 将性能降低到零样本基线以下； (ii) 传统的个性化技术通过参数或特征级融合进一步将这种偏差转移到局部模型。为了应对这些挑战，我们提出通过梯度纯化和残差学习进行联邦学习（FedPuReL），它在全局模型中保留平衡的知识，同时实现无偏见的个性化。具体来说，我们使用零样本预测来纯化局部梯度，以维持类平衡的全局模型，并将个性化模型作为冻结全局模型之上的残差校正。大量实验表明，FedPuReL 始终优于最先进的方法，在不同长尾场景的全局和个性化模型上均实现了卓越的性能。代码可在 https://github.com/shihaohou/FedPuReL 获取。