SpectralEarth-FM：将高光谱图像引入多模态地球观测预训练

地球观测 (EO) 基础模型 (FM) 越来越多地接受多传感器数据的训练，涵盖多光谱图像 (MSI)、合成孔径雷达 (SAR) 和派生地理空间图层，但高光谱图像 (HSI) 的代表性仍然不足。相反，现有的高光谱 FM 仅在 HSI 上进行训练，而 HSI 与共置 EO 传感器的联合预训练和融合尚未探索。我们推出 SpectralEarth-FM，这是一种分层 Transformer，用于具有异构光谱维数的多传感器 EO 输入。该架构结合了高光谱输入的光谱标记化、传感器特定编码器、跨传感器融合模块和共享分层编码器，从而能够联合处理 HSI 和较低通道的观测结果。为了预训练 SpectralEarth-FM，我们策划了 SpectralEarth-MM，这是一个数据集，将来自三个星载传感器（EnMAP、EMIT、DESIS）的 HSI 与 Sentinel-2、Landsat-8/9 光学图像、Landsat 陆地表面温度 (LST) 和 Sentinel-1 SAR 共同定位在共同的地理足迹上。它包含大约 200 万个全球分布的位置、2500 万个地理参考补丁和超过 40TB 的数据。预训练使用联合嵌入预测架构 (JEPA) 式目标，该目标匹配来自同一位置的全局视图和单传感器局部视图之间的表示。我们按照 PANGEA 协议在高光谱下游任务和标准 EO 基准上评估 SpectralEarth-FM，在两种评估设置中均取得了最先进的结果。