OceanMAE：海洋遥感基础模型

准确的海洋测绘对于测深估计、海底特征、海洋垃圾检测和生态系统监测等应用至关重要。然而，海洋遥感（RS）仍然受到有限的标记数据和主要基于陆地为主的地球观测图像预训练的模型可移植性降低的限制。在本文中，我们提出了 OceanMAE，一种特定于海洋的屏蔽自动编码器，它通过在自监督学习期间将多光谱 Sentinel-2 观测与具有物理意义的海洋描述符相结合来扩展标准 MAE 预训练。通过整合这些辅助海洋特征，OceanMAE 旨在从大规模未标记数据中学习更多信息和海洋感知的潜在表示。为了将这些表示转移到下游应用程序，我们进一步采用改进的基于 UNet 的框架进行海洋分割和测深估计。 OceanMAE 在 Hydro 数据集上进行了预训练，在 MADOS 和 MARIDA 上进行评估以进行海洋污染物和碎片分割，并在 MagicBathyNet 上进行评估以进行测深回归。实验表明，OceanMAE 在海洋分割方面产生了最强的收益，而测深优势具有竞争性且依赖于任务。此外，针对 MARIDA 上标准 MAE 的消融表明，在 预训练 期间合并辅助海洋描述符可以提高下游分割质量。这些发现凸显了海洋遥感的物理信息丰富和领域一致的自监督预训练的价值。代码和权重可在 https://git.tu-berlin.de/joanna.stamer/SSLORS2 上公开获取。