论文
基于VLM的遥感联邦学习适应策略的有效性
On the Effectiveness of Adaptation Strategies for VLM-Based Federated Learning in Remote Sensing
摘要
联邦学习 (FL) 可以在分散的图像档案中协作训练深度学习模型，而无需数据集中化。这种范式在遥感 (RS) 中尤其重要，因为法律法规、隐私问题和带宽限制限制了数据共享。然而，跨客户端训练数据异质性（称为非独立同分布数据）的存在可能会阻碍收敛并限制聚合全局模型的泛化能力。为了减轻训练数据异质性的不利影响，视觉语言模型（VLM）可以在 FL 中利用，因为它们具有可转移的表示形式，并且在分布变化下表现出了鲁棒性。然而，它们的大参数大小可能会大大增加联合设置中的通信开销和本地计算复杂性。因此，选择合适的 VLM 适应策略来平衡泛化能力与通信和计算约束至关重要。为了解决这个问题，在本文中，我们首次在 RS 图像分类的背景下对 FL 的 VLM 适应策略进行了比较研究。我们研究了完整的 微调、编码器特定的 微调、即时学习和低秩自适应 (LoRA) 调整，并根据三个标准对其进行分析：1) 非 IID 数据下的泛化能力，2) 通信开销，3) 本地计算复杂性。 BigEarthNet-S2、EuroSAT、RESISC45 和 ImageNet 上的实验揭示了任务专业化、跨域泛化和效率之间的明显权衡。根据我们的研究结果，我们得出了在不同操作限制下为 RS 图像分类在 FL 中选择适当的 VLM 适应策略的指南。这项工作的代码可在 https://git.tu-berlin.de/rsim/FL-RS-VLM 上公开获取。