用于卫星图像分析的多模态、多尺度表示学习只需要一个好的 ALiBi

视觉基础模型已被证明可以有效地将卫星图像处理为适合下游任务的表示，但是，创建在多个空间分辨率和模式下运行的模型具有挑战性。本文提出了 Scale-ALiBi，这是一种线性偏差 Transformer 注意力机制，对不同地面样本距离尺度的图像块之间的关系具有空间编码偏差。我们使用三重对比和重建架构在对齐的高分辨率和低分辨率光学和低分辨率 SAR 卫星图像数据的数据集上提供 Scale-ALiBi 的实现，展示了 GEO-Bench 基准的改进，并公开发布了新策划的数据集。