论文
遥感图像开放词汇语义分割的几何变换特征自适应流形恢复方法
A Geometric-Transformation Feature-Adaptive Manifold Restoration Method for Open-Vocabulary Semantic Segmentation of Remote Sensing Images
摘要
遥感图像中物体的语义信息通常对于二面体群 D4 的几何变换是不变的。然而，基于 SAM3 的开放词汇语义分割 (OVSS) 方法通常对不同的几何变换表现出不一致的响应。为了利用这一特性并提高遥感图像 OVSS 的稳定性，我们提出了一种基于二面体群几何变换的特征自适应流形修复方法。首先，我们引入多尺度谐波引导 D4 视图选择 (MH-D4VS)，从一组几何变换视图中选择互补的候选视图。接下来，我们提出原始视图锚定自适应流形修复（OAMR），它使用原始视图作为锚点和可靠的跨视图信息来选择性地修复局部不可靠的视觉特征。最后，我们为 SAM3 开发了像素解码器测试时自适应（PD-TTA），它在推理过程中仅在线微调 GroupNorm 层的参数，从而增强模型适应样本级分布变化的能力。实验结果表明，该方法在八个遥感语义分割基准上实现了 55.6% 的平均 mIoU，并在不同的基于 SAM3 的推理框架下提供了一致的性能改进。
