FLORO：跨传感器和尺度的生态遥感多模态地理空间基础模型

基础模型为可转移遥感表示提供了一条有前途的途径，但当前的许多方法依赖于非常大的预训练数据集和固定传感器配置，限制了它们对生态和环境应用的适用性，其中观测结果通常因平台、空间和光谱分辨率以及可用模式而异。我们引入了 FLORO，这是一种多模态地理空间基础模型，旨在从小型但高度多样化的遥感语料库中学习可转移的表示。 FLORO 使用屏蔽自动编码对 Sentinel-1、Sentinel-2、SkySAT 图像、海拔和无人机衍生数据的异构组合进行预训练。为了适应传感器的可变性，FLORO 结合了可用性感知输入，指示每个样本中存在哪些光谱带和辅助模式，从而在异构传感器配置中实现统一的输入空间。我们在冻结编码器协议下的 PANGEA 基准测试中跨场景分类、分割和回归任务评估了 FLORO。尽管 FLORO 是在比竞争基础模型更小的语料库上进行预训练的，但它在涵盖中分辨率卫星、机载和超高分辨率无人机图像的光学、光学 SAR 和光学高程基准上实现了强大而稳定的传输。 FLORO 在六个 PANGEA 基准上获得了第二好的平均分割性能，仅落后于最近推出的在两个数量级以上的图像上进行预训练的基础模型，在场景分类上保持竞争力，并且在回归任务中具有鲁棒性，而定性结果表明在洪水、城市、生物量和树冠高度预测设置中空间结构的保存得到了改善。在 EuroSAT-MS 的单独对照实验中，地理定位编码相对于绝对位置编码进一步改进了分类。