MEOX：用于地球观测的紧凑型多模式专家组合

地球观测表示学习的最新进展通常通过更大的架构来适应异构传感器和缺失的观测。我们推出了 MEOX（Multimodal Earth Observation with eXperts），这是一种多模态掩码自动编码器，具有 293.9 万参数编码器和总共 311.5 万个参数。传感器特定的适配器、显式有效性信号和共享的稀疏专家块在学习的补丁式融合之前保留模态相关的处理。然后，四个元数据标记伴随单个空间序列通过另外十四个编码器块。具有私有低秩残差的共享专家预测限制了参数增长，而旋转注意力支持与预训练不同的下游空间网格。该模型使用模态平衡掩模重建和结构化传感器丢失在 122.8 万个 MMEarth64 样本上进行预训练。在 64 和 224 像素的六个 GEO-Bench 任务上评估冻结传输。该模型在 64 像素腰果分割上达到 64.42% 的平均交叉并集，在 EuroSAT 224 像素上达到 90.56% 的平均准确率，超过了相应报告的 CSMoE 结果。 BigEarthNet 微调达到 72.95% 的微平均精度。路由诊断区分专家参与、空间依赖性、模态关联和功能贡献。 WorldCover 探针测量到元数据带来了 0.64 个百分点的收益，而检索将相同传感器语义与跨传感器对齐分开。这些结果证明了传感器灵活的表示学习和使用紧凑参数预算的强大任务转移。