月光石：月球遥感的多模态基础模型和基准

数十年的轨道任务已经产生了月球的多模式遥感数据，涵盖光学图像、光谱、热发射、雷达、重力和元素成分。然而，这些数据集在各个档案中仍然支离破碎，并且不存在评估月球数据机器学习的基准。我们推出月光石，这是第一个月球遥感多模态基础模型基准。我们的贡献是：(1) 来自五个任务的七个仪器系列的 28 通道、每度 128 像素 (~237 m) 的全球月球预训练数据集，(2) MG-MAE，一种具有每组卷积分词器的模态分组掩码自动编码器、共享 Vision Transformer 编码器、缺失模态的注意掩码、异构空间覆盖的覆盖自适应掩码以及光谱连续性正则化物理上合理的重建，以及（3）涵盖分类、回归和分割的六个下游任务的基准。 MG-MAE 预训练特征在所有任务上都优于临时基线，并大幅超过 ImageNet 预训练和普通 MAE 基线。数据和代码可在 https://huggingface.co/datasets/ayushprd/Moonstone 和 https://github.com/ayushprd/Moonstone 获取。