RSRCC：通过检索增强的 Best-of-N 排名构建的遥感区域变化理解基准

传统的变化检测识别变化发生的位置，但不能用自然语言解释发生了什么变化。现有的遥感变化字幕数据集通常描述整体图像级别的差异，而细粒度的局部语义推理在很大程度上尚未得到探索。为了弥补这一差距，我们提出了 RSRCC，这是一种用于遥感变化问答的新基准，包含 126k 个问题，分为 87k 训练、17.1k 验证和 22k 测试实例。与之前的数据集不同，RSRCC 是围绕本地化的、特定于变化的问题构建的，这些问题需要对特定语义变化进行推理。据我们所知，这是第一个专门为这种基于细粒度推理的监督而设计的遥感变化问答基准。为了构建 RSRCC，我们引入了一个分层半监督管理管道，该管道使用 Best-of-N 排名作为关键的最终歧义解决阶段。首先，从语义分割掩模中提取候选变化区域，然后使用图像文本嵌入模型进行初步筛选，最后通过具有 Best-of-N 排名的检索增强视觉语言管理进行验证。此过程可以对嘈杂和模糊的候选者进行可扩展的过滤，同时保留语义上有意义的更改。该数据集可在 https://huggingface.co/datasets/google/RSRCC 上获取。