论文
联邦学习中的局部强化解耦训练 微调
Decoupled Training with Local Reinforcement Fine-Tuning in Federated Learning
摘要
具有预训练视觉语言模型 (VLM) 的联邦学习 (FL) 已成为各种下游任务的有前途的范例。通过利用其强大的代表性，最近的研究改善了本地数据不足的任务适应性，同时保留了泛化性。然而，这些方法强调完全局部优化和简单的参数聚合，这会放大异构和全数据FL设置下客户端间优化的不一致性和客户端内的过度专业化，从而难以平衡全局任务自适应和泛化。为了应对这些挑战，我们提出了 FedDTL，这是一种新颖的联合 VLM 框架，可以跨客户端和服务器解耦图像编码器和文本编码器。通过服务器-客户端模态对齐的解耦编码器训练，FedDTL 促进连贯的全局语义更新并减少客户端间优化不一致，从而改善全局任务适应性。为了进一步缓解客户端内过度专业化，我们引入了两阶段本地 微调，其中受监督的 微调 阶段可实现快速可靠的热启动，然后是增强泛化的强化学习阶段。对多个基准（包括标签倾斜和特征转换）的广泛实验表明，FedDTL 在小样本和全数据机制下的各种 FL 数据分布下实现了全局任务适应和泛化之间的有效平衡。