论文
GeoSelect:无需训练 参考遥感图像分割的空间程序执行
GeoSelect: Spatial-Program Execution for Training-Free Referring Remote Sensing Image Segmentation
摘要
遥感图像分割是指对航空影像中以自然语言表达命名的物体进行分割。现有的 无需训练 方法通过隐式视觉语言激活或区域文本相似性来解决表达问题,这使得对主导空中指称的空间、最高级和序数关系的控制较弱,例如最右边的船或从左数第二个法庭。我们提出了 GeoSelect,这是一个 无需训练 管道,它将引用重新构建为类型化空间程序的执行。冻结的纯文本语言模型将表达式合成为小型特定于领域的语言,格式良好的检查器接受程序,确定性执行器运行它。中心抽象是单个评分候选集类型,每个算子都在该类型下组成:连续几何字段实现位置和接近度,而离散集和顺序算子添加单独字段无法表达的极值、序数、top-k 和关系结构。执行是明确的,因此每个中间体都是可检查的,并且可靠性阶梯将任何失败的程序降级为仅限现场的特殊情况。 GeoSelect 在 RRSIS-D 测试中达到 58.86 mIoU,在 RISBench 测试中达到 55.27 mIoU,是 RRSIS-D 上最好的现有 无需训练 方法的两倍多,没有引用监督并且在单个 GPU 上。在固定的检测器和分段器下,显式执行比相同主干下的隐式选择器有所改进;最佳框 IoU 和结果分区诊断激发了对提案召回和程序路径行为的补充测试,程序路径在 RISBench 上具有更清晰的优先级,并且暴露审计显示了在审计的未见子集上具有相当的准确性。代码和配置可在 https://github.com/Avalon-S/GeoSelect 获取。