论文

寻求共识:开放词汇遥感语义分割的几何语义即时重新校准

Seeking Consensus: Geometric-Semantic On-the-Fly Recalibration for Open-Vocabulary Remote Sensing Semantic Segmentation

应用与实践视觉感知与空间理解

摘要

遥感图像中的开放词汇语义分割(OVSS)是一项很有前景的任务,它利用文本描述来识别未定义的土地覆盖类别。尽管取得了显着的进步,但现有方法通常采用静态推理范式,忽略了每个场景的独特分布,导致不同土地覆盖中的语义模糊和不完整的前景激活。受此启发,我们提出了 Seeking Consensus,称为 SeeCo,这是一个即插即用的框架,用于提高 无需训练 OVSS 模型在遥感图像中的性能,该框架通过寻求双重共识来即时重新校准任意 OVSS 模型:通过多视图一致观察的几何共识学习(GCL)和通过文本描述自适应校准的语义共识学习(SCL),这有助于视觉和文本语义的协作重新校准。两种共识通过在线共识注入器(OCI)注入,有效缓解激活不足和语义偏差。 SeeCo 不需要特定的训练过程,但会在推理过程中重新校准每个独特场景的语义几何对齐。对八个遥感 OVSS 基准的广泛实验显示出一致的增益,证明了其有效性和普遍性。