OpenDPR：通过以视觉为中心的扩散引导的遥感图像原型检索进行开放词汇变化检测

开放词汇变化检测 (OVCD) 旨在通过超越一组固定的预定义类进行泛化，从而识别感兴趣的任意变化。我们将 OVCD 重新制定为两阶段流程：首先使用 SAM 和 DINOv2 等视觉基础模型 (VFM) 生成与类别无关的变更建议，然后使用 CLIP 等视觉语言模型 (VLM) 执行类别识别。我们发现类别识别错误是 OVCD 的主要瓶颈，这主要是由于基于图像文本匹配的 VLM 表示细粒度土地覆盖类别的能力有限。为了解决这个问题，我们提出了 OpenDPR，一个以 无需训练 视觉为中心的扩散引导原型检索框架。 OpenDPR 利用扩散模型离线构建目标类别的各种原型，并在推理过程中通过视觉空间中的更改建议执行相似性检索。第二个瓶颈在于变更本地化，因为 VFM 本身缺乏变更先验。为了弥补这一差距，我们设计了一个名为 S2C 的空间变化弱监督变化检测模块，以适应其强大的空间建模能力来进行变化定位。将预训练的 S2C 集成到 OpenDPR 中会产生一个名为 OpenDPR-W 的可选弱监督变体，它可以在最少的监督下进一步改进 OVCD。四个基准数据集的实验结果表明，所提出的方法在两种监督模式下都实现了最先进的性能。代码可在 https://github.com/guoqi2002/OpenDPR 获取。