RSGPNet：遥感开放词汇语义分割的几何提示

开放词汇语义分割 (OVSS) 可以对看不见的对象进行文本引导分割，打破固定类别的限制，实现开放世界的理解。然而，现有的 OVSS 方法主要侧重于修改 CLIP 注意力机制，该机制仍然存在遥感（RS）域局部分割不稳定的问题。为了解决这些限制，我们提出了 RSGPNet，这是一种用于 RS OVSS 的 无需训练 几何提示框架，它通过利用对象几何区域和一致性约束来细化分割。具体来说，RSGPNet包括三个核心模块：文本引导的粗略掩模模块（TCM）、几何重新提示模块（GRP）和从粗到细的一致性验证机制（CVM）。 TCM 利用文本提示和输入图像来构建初始粗分割掩模。然后，GRP 将这些粗略掩模转换为几何框提示，将它们反馈到分割模型中以生成细化掩模。最后，CVM 采用一致性计算来防止强化错误区域的提示。它们允许模型提高复杂区域（例如类别边界）的分割准确性。对 RS 数据集的大量实验表明，RSGPNet 在定量和定性指标方面均显着优于最先进的方法，同时表现出出色的可解释性。代码发布于\href{https://github.com/wangshanwen001/RSGPNet}{https://github.com/wangshanwen001/RSGPNet}。