论文

MarsRecon:火星的自监督和多模态表面表示

MarsRecon: Self-Supervised and Multimodal Surface Representations for Mars

模型训练预训练

摘要

高分辨率轨道图像提供了火星表面的丰富记录,但稀疏的地质标签限制了监督表示学习。我们推出了 MarsRecon,这是一个地理空间感知管道,用于从奥林匹斯山的 HiRISE 观测中学习视觉和多模态表示。该管道校准 NASA 行星数据系统产品,提取有效的地理参考补丁,并在未标记的图像上训练屏蔽自动编码器。在主要的 A 阶段模型系列中,提高输入分辨率和过滤无效标记将保留重建损失从 0.1751 减少到 0.1342。然后,我们冻结视觉编码器,并将其特征与观察文本、坐标和局部-全局图像上下文对齐。当前最强的局部主模型在保留测试分割上实现了图像到文本召回率@10 0.3787、文本到图像召回率@10 0.9161 和局部到全局召回率@10 0.4350。这些结果建立了一个有效的火星特定预训练和检索管道;需要进一步的作物重叠控制和下游地质评估来评估其嵌入的更广泛效用。