论文

采用 Prithvi-EO 进行食物-水关系的休耕检测:ViT 适配器颈部和地理空间基础模型的参数高效骨干调整

Adapting Prithvi-EO for Fallow Detection for Food-Water Nexus: ViT-Adapter Necks and Parameter-Efficient Backbone tuning of Geospatial Foundation Model

模型训练参数高效训练

摘要

鉴于休耕在作物轮作和节水方面的作用,了解休耕地的空间分布对于优化食物-水 (FW) 关系非常重要。休耕是 USDA 农田数据层 (CDL) 中的低精度类别。地理空间基础模型 (GFM)、Prithvi-EO 在计算机视觉任务中表现出强大的可移植性。然而,其 Vision Transformer (ViT) 主干网在单一空间尺度上产生特征,不适合物体检测头所需的多尺度特征。现有方法通过单步标记的缩放来合成多尺度金字塔,牺牲空间异质性,并且完整主干 微调 对于 GFM 来说在计算上是令人望而却步的。我们评估了结合两种参数高效的 微调 (PEFT) 方案的休闲检测管道:低秩适应 (LoRA) 和混合 PEFT,以及三种颈部设计:伪多尺度、Lite ViT-Adapter 和 Full ViT-Adapter。我们的最佳配置,具有单级头的 Lite ViT-Adapter,在 Diou 损失下实现了 0.9479 的 mAP@50,这表明中心感知定位对于不规则休耕田检测的有效性。 LoRA下的ViT-Adapter free一级检测将基于adapter-free的anchor的方法提高了6.42%,最佳配置将基于adapter-free的anchor的基线方法提高了25.70%。这些结果表明,轻量级空间先验融合和选择性主干解冻使 Prithvi-EO 能够更有效地捕获局部休整模式,优于依赖重塑单步 ViT 词元的方法。