论文
解耦和纠正:开放词汇遥感分割的语义保留结构增强
Decouple and Rectify: Semantics-Preserving Structural Enhancement for Open-Vocabulary Remote Sensing Segmentation
摘要
遥感(RS)领域的开放词汇语义分割需要语言对齐的识别和细粒度的空间描绘。尽管 CLIP 提供了强大的语义概括,但其全局对齐的视觉表示本质上难以捕获结构细节。最近的方法试图通过引入 RS 预训练的 DINO 特征来弥补这一点。然而,这些方法将 CLIP 表示视为整体语义空间,无法定位需要结构增强的位置,无法有效地描绘边界,同时存在破坏 CLIP 语义完整性的风险。为了解决这个限制,我们在本文中提出了 DR-Seg,一种新颖的解耦和纠正框架。我们的方法的动机是观察到 CLIP 特征通道表现出明显的功能异质性,而不是形成统一的语义空间。基于这一见解,DR-Seg 将 CLIP 特征解耦为语义主导和结构主导的子空间,从而使 DINO 能够有针对性的结构增强,而不会扭曲语言对齐的语义。随后,先验驱动的图校正模块在 DINO 指导下注入高保真结构先验以形成细化分支,而不确定性引导的自适应融合模块动态地将这个细化分支与原始 CLIP 分支集成以进行最终预测。八个基准的综合实验表明 DR-Seg 建立了新的最先进技术。