用于开放词汇遥感语义分割的快速校准 SAM 3

遥感图像中的开放词汇语义分割（OVSS）旨在分割固定标签空间之外的类别。最近基于 SAM 3 的方法提供了一个有前途的 无需训练 基础，但仍然存在三个关键问题：（1）单个类名提示缺乏对复杂遥感类别的足够语义覆盖； (2)将每个类别扩展为多个提示引入了冗余的在线文本编码； (3) 直接聚合多个提示响应将噪声激活传播到最终预测中。针对这些问题，我们提出了ProC-SAM3，它从三个互补的方面校准了SAM 3遥感OVSS的提示界面。首先，我们构建一个离线提示池，其中类别匹配器将 MLLM 生成的候选者分组为每个类别集合，并且扩展约束使用特定于类别的先验知识进一步细化每个集合。其次，生成的文本嵌入被缓存并在所有测试图像中重复使用，从而消除了重复的文本编码。第三，我们引入存在引导残差融合，通过提示存在和置信度来门控不可靠的解码器输出，然后是峰值保留类聚合，为小而稀疏的对象保留细粒度的激活。八个基准测试的实验表明，ProC-SAM3 的平均 mIoU 为 56.1%，比之前最好的 无需训练 方法高出 3.9 个百分点。代码可在 https://github.com/YanghuiSong/ProC-SAM3 获取。