论文
重新思考用于遥感检索的光电视觉基础模型:与通用 VFM 的受控比较
Rethinking Electro-Optical Vision Foundation Models for Remote Sensing Retrieval: A Controlled Comparison with Generalist VFM
摘要
视觉基础模型因其利用大规模未标记视觉数据的能力而引起了广泛关注。这一优势在遥感中尤其重要,因为遥感中数据获取成本高昂,并且注释通常需要专业知识。最近的电光视觉基础模型旨在从遥感图像中学习特定领域的表示,但目前尚不清楚它们是否比基于检索的评估下的强通用视觉基础模型更有效。在本研究中,我们对用于遥感图像检索的代表性 EO 特定视觉基础模型和通用视觉基础模型进行了受控比较。使用相同的数据集、检索协议和评估指标,我们评估域内性能和跨场景泛化。我们的结果表明,强大的通才视觉基础模型与现有的 EO 特定模型具有竞争力,在某些情况下甚至优于现有的 EO 特定模型。此外,特定于 EO 的模型在跨场景评估下通常会出现大幅退化,而通用模型则表现出更稳定的迁移。这些发现表明,单独的 EO 预训练并不能保证更强的面向检索的遥感表示。我们讨论了当前 EO 特定预训练策略的局限性,并强调未来 EO 视觉基础模型需要更好地利用遥感图像的物理、空间、光谱和地理特征。