论文
RS-RIE-Bench:基准推理引导遥感图像编辑
RS-RIE-Bench: Benchmarking Reasoning-Guided Remote Sensing Image Editing
摘要
遥感图像编辑旨在根据自然语言指令修改遥感图像,同时保留地理规则和传感器观测特征。现有基准主要针对自然图像或一般视觉场景,因此可能无法完全捕捉遥感编辑所需的推理、区域控制和传感器一致性能力。为了填补这一空白,我们推出了 RS-RIE-Bench,这是推理引导遥感图像编辑的第一个基准。 RS-RIE-Bench 将任务分为三类:时间推理、因果推理和空间推理。这些类别捕获遥感场景中的时间演变、因果后果和空间成像一致性。评估协议涵盖三个维度:目标区域合理性、非目标区域保留和图像质量一致性。我们通过跨法官一致性分析和分层专家评审进一步论证了基于 MLLM 的评估的可行性。对八个开源和闭源图像编辑模型的系统评估表明,当前模型在推理引导的遥感编辑方面仍然存在明显的局限性。即使是最强的模型,在严格的关节满意度标准下也只能达到 24.28% 的整体准确率,而所有八个模型的平均松弛关节 4 成功率为 32.23%。因果推理和空间推理仍然特别具有挑战性,一些开源模型在某些类别中接近于零。这些结果表明RS-RIE-Bench可以有效揭示当前模型在地理推理、区域控制和传感器一致生成方面的局限性。也为未来遥感智能编辑模型提供了标准化的基准和明确的研究方向。