使用环境信号探测地理空间 SSL 表示

自监督学习（SSL）旨在学习通用的、可转移的表示，而不是针对单个任务优化的表示。大多数地理空间基准仅通过下游任务评估表示，对表示本身编码的信息提供有限的洞察。我们提出一个不同的问题：卫星图像的 SSL 表示是否保留与随成像过程共同变化的环境变量的统计关联？为了回答这个问题，我们使用同位 ERA5 再分析变量来探测 SSL 表示，这是一个物理上一致的环境变量的全球数据集，包括温度、降水、地表太阳辐射、地表压力和土壤体积水。这些变量与 Sentinel-1 和 Sentinel-2 记录的光谱反射率和雷达后向散射物理相关，尽管在 SSL 预训练期间未使用，但它们使它们成为有意义的评估目标。我们用内在的表示度量来补充这种探测分析，以表征表示几何形状，并研究这些属性与下游性能和环境信号编码的关系。使用在相同条件下训练的 DINO、MAE 和 MoCo 模型，我们表明表征级指标可以区分具有相似下游基准性能的模型，从而提供任务驱动基准之外的补充信息。我们进一步发现，环境信号的线性可访问性与 PANGEA 基准中环境相关任务的性能相关。最后，我们发布了与 SSL4EO 数据集位于同一位置的 ERA5 注释，以便为未来的地理空间基础模型提供以物理信息为依据的表示评估。