论文

SatOV:恢复空间先验以实现遥感图像中的免训练开放词汇分割

SatOV: Restoring Spatial Priors for Training-Free Open-Vocabulary Segmentation in Remote Sensing Imagery

模型架构Transformer

摘要

遥感图像的开放词汇语义分割(OVS)是一项具有挑战性的像素级任务,需要对遥感数据的空间特征进行强泛化和适应。尽管现有的视觉语言基础模型在一般领域表现良好,但其图像级分类设计削弱了高分辨率遥感分割所需的空间先验:深度特征转换期间结构空间关系退化,下采样期间细粒度空间细节丢失。为了解决这些补充性缺陷,我们提出了 SatOV,这是一种用于开放词汇遥感分割的免训练框架,可在表示管道的两个阶段恢复空间先验。具体来说,残余 QQ 注意力(ResQQ)从中间 CLIP 层提取查询键自注意力,并通过残差组合将其与最终层查询-查询注意力融合,恢复被最终层表示抑制的结构空间先验。空间调制上采样(SatUp)使用原始高分辨率 RGB 图像作为空间引导,将空间特征调制与引导交叉注意力相结合,以重建像素级纹理和边界。对 DOTA、UDD、LoveDA 和 Vaihingen 的大量实验表明,SatOV 持续改进了免训练 OVS,并取得了与最先进方法相比具有竞争力的定量和定性结果。这些结果验证了在遥感开放词汇分割的表示和空间分辨率阶段恢复空间先验的有效性。