论文

SAREO-FM:SAR与光学遥感基础模型的解耦语义监督

SAREO-FM: Decoupled Semantic Supervision for SAR-EO Foundation Models

模型训练模型架构应用与实践混合架构预训练视觉感知与空间理解

摘要

合成孔径雷达 (SAR) 和光电 (EO) 图像提供互补的观测:SAR 能够实现昼夜、全天候的传感,而 EO 提供丰富的外观和细粒度的语义线索。我们引入了 SAREO-FM,它避免强制单个Token流服务于两个不同的角色:模态Token保留每个传感器通过掩模重建观察场景的方式,而可学习的语义查询在预训练视觉基础模型(VFM)的指导下捕获场景包含的内容。通过使用 SAR 和 EO Token联合编码这些查询,查询获得基于模态的语义上下文,而模态Token输出仍然是掩码重建的显式目标。该设计将语义和重建监督分配给单独的Token流,同时保留它们在共享编码器内的交互。 SAREO-FM 在百万规模的 SAR-1M 语料库上进行了预训练,对仅 SAR 和仅 EO 输入实现了强大的单模态传输,同时从对受益于互补传感的任务的 SAR-EO 联合观测中获得了可观的收益。

SAREO-FM:SAR与光学遥感基础模型的解耦语义监督:论文原图
图 3:冻结的几次 SAR 传输。我们使用固定的编码器特征并仅训练下游分类器。