LunarFM：月球表面的共享多模态表示

摘要

在原地资源利用和人类在月球上持续存在的前景的推动下，全球重新关注月球探索，这对准确、大规模地描述月球表面特征产生了日益增长的需求。尽管已经收集了大量的轨道遥感数据，但科学分析和资源绘图仍然因异构多仪器观测、稀疏标签和定制的特定任务建模工作流程而支离破碎。在这里，我们介绍 LunarFM，这是一种多模态基础模型，可以从不同的轨道测量中学习月球表面的一般表示。 LunarFM 吸收了三个月球任务中六台仪器的观测结果，将 18 个输入通道映射到共享嵌入空间。我们证明，该嵌入空间支持各种下游应用，包括相似性搜索、少样本资源测绘、矿物丰度回归和地质单元分类，从而实现高效的科学研究和面向资源的分析。我们提供了一个机器学习就绪的数据集，其中包含跨纬度从 70°S 到 70°N 的联合注册多模态观测数据、一个预训练的多模态掩码自动编码器，以及一个提供月球表面属性联合 768 维表示的配套嵌入数据集。所有代码和数据均可在 https://lunarfm.trillium.tech/ 获取