通过集群引导细化和模型集成投票提高遥感视觉基础

视觉基础旨在定位与自然语言描述相对应的图像区域，是可解释视觉系统的关键组成部分。在遥感图像中，由于场景复杂、物体较小且尺度变化较大，定位尤其具有挑战性。依靠单一模型通常不足以应对这些不同的挑战。在这项工作中，我们提出了两种定位管道：顺序定位细化（SGR）和集群感知定位细化（CGR），它们结合了专门用于遥感的视觉定位模型RemoteSAM和强大的通用分割模型SAM3的互补优势。我们的方法首先使用 RemoteSAM 获得对象位置的初始估计，然后使用 SAM3 对其进行细化以产生更准确且空间一致的分割。此外，我们还探索了基于六个不同定位管道的多数投票的集成策略，每个管道都有不同的功能。这种多模型框架提高了鲁棒性并显着提高了定位精度。实验结果表明，所提出的管道和集成方法优于单个模型，从而实现更可靠和更精确的视觉定位预测。