SegRAG：开放词汇语义分割的检索增强空间提示

当目标类以预训练期间表现较弱的形式出现时，冻结分割基础模型通常会失败。为了解决这个问题，我们引入了 SegRAG，一种用于开放词汇语义分割的检索增强推理时间空间提示管道，它使用冻结模型而不更新其权重。 SegRAG 从带注释的引用构建紧凑的类索引内存。当多个参考可用时，类内内聚 蒸馏 (ICCD) 通过跨图像前景一致性过滤 DINOv3 补丁描述符。通过一个引用，前景描述符直接保留，无需 ICCD。然后，地形相似性基础 (TSG) 将高相似性查询区域转换为 SAM 3 的点提示。在匹配的五镜头比较中，SegRAG 超过了 ADE20K-150、Cityscapes 和 PC-59 上最近基于示例和检索的基线。它还比 SAM 3 纯文本基线提高了 1.15 到 3.92 平均交集 (mIoU) 点。在最多 30 个样本的 AgML 农业领域转移评估中，SegRAG 将 mIoU 从 25.27 提高到 59.24。它还可以恢复纯文本故障，包括从 0.00 到 95.36 IoU 的花椰菜和从 0.00 到 80.22 IoU 的甜菜杂草。受控消融显示了 ICCD、TSG 点选择以及联合文本和点提示的互补贡献。因此，SegRAG 通过将带注释的视觉知识维护为外部类索引存储器来将分段适应制定为信息组织和检索问题，该存储器可以指导冻结的分段模型而无需权重更新。代码：https://github.com/boudiafA/SegRAG。