论文
VPRef:参考遥感图像分割的跨域基准
VPRef: A Cross-Domain Benchmark for Referring Remote Sensing Image Segmentation
摘要
视觉语言模型的快速进步将参考遥感图像分割(RRSIS)推向了地球观测的前沿。然而,实际部署在耦合双漂移范式下遭受严重的性能下降:跨空间分辨率不匹配和光谱变化导致的视觉域漂移,以及不受约束、可变的用户输入粒度导致的文本逻辑漂移。为了缓解这些瓶颈,本文建立了第一个跨域 RRSIS 基准,指定为 Vaihingen-Potsdam Referee (VPRef) 数据集,包含 46,972 个语言-图像-注释三元组,组织成三层语言层次结构。在此基准的基础上,我们通过低秩适应 (LoRA) 开发了一个定制的参数高效域适应基线,该基线基于分段任意模型 (SAM3)。我们的框架通过伪标签驱动的自我训练来抵消视觉分布差异,并通过随机多粒度文本提示混合来解决文本逻辑漂移。至关重要的是,经验指标在烧蚀变体中的分布表明跨模态语义鲁棒性和视觉域对齐之间存在潜在的脱钩,证明语言方差驱动细粒度语义不变性,而伪标签传播控制宏观空间网格对齐。广泛的基准测试表明,所提出的框架实现了卓越的跨域分割边界,同时仅修改了 1.08% 的基础参数足迹,为未来的多模态遥感域适应研究建立了稳健的基线。数据集和代码可在 https://github.com/quanweiliu/VPRef 获取。