论文
应用地球观测的合成图像检索基准测试
Benchmarking Composed Image Retrieval for Applied Earth Observation
摘要
遥感组合图像检索 (RSCIR) 可以使用将参考图像与文本修饰符相结合的组合查询来搜索大型卫星图像档案。尽管 RSCIR 提供了一个灵活的界面来表达有针对性的检索意图,但现代合成方法向地球观测 (EO) 图像的可转移性及其与 EO 操作工作流程的相关性仍未得到充分探索。我们通过统一的基准和面向应用的研究来解决这一差距。首先,我们在标准化协议下系统地调整和评估具有六种视觉语言主干的代表性组合图像检索方法,分析它们在主干、组合策略和查询类型上的行为。其次,我们介绍 xView2-CIR,这是一个用于灾难和损害监控的以变化为中心的数据集,其中检索以场景身份和目标事件后状态为条件。我们的结果表明,无需训练 组合方法为 EO 检索提供了强大且可扩展的基线,而以更改为中心的检索则提出了与基于属性的检索不同的挑战,特别是由于需要保留场景身份。总体而言,本研究为 RSCIR 和位置组合检索建立了实用基准,作为遥感图像检索、档案探索和变化分析的补充工具。数据集和代码可在 https://github.com/billpsomas/rscir 获取。