EOVSAM：使用 SAM 3 一次性进行高效开放词汇分割

开放词汇分割从任意文本描述中识别和分割对象。 SAM 3 支持名词短语引导的分割，并通过详尽的词汇遍历实现有竞争力的开放词汇性能，但随着目标类别的扩展，其计算开销却令人望而却步。在本文中，我们提出了一种使用 SAM 3 (EOVSAM) 的高效开放词汇分割框架，该框架采用 SAM 3 进行单通道预测。 EOVSAM 消除了即时调节，将 SAM 3 转变为高效的掩模生成器，并引入了新的注意力聚合策略来端到端优化开放词汇分类。该公式避免了现有方法常用的多级管道和后处理启发式方法，同时减轻了直接优化分类时可能出现的闭集崩溃。 EOVSAM 在所有评估的数据集上始终比普通 SAM 3 提高了分割精度，并将推理速度提高了高达 338$\times$。此外，EOVSAM 在较低分辨率下保持高精度，同时实现更出色的推理速度。标准语义和全景分割基准的实验表明，EOVSAM 将具有竞争力或最先进的准确性与现有开放词汇分割模型相比具有显着的速度优势结合起来。代码和模型可在 https://github.com/hustvl/EOVSAM 获取。