SetCon：通过集合级概念预测实现开放式引用分割

参考分割将自然语言查询基于像素级掩码，但将其扩展到具有多个实例、跨类别组或开放式目标集的复杂场景仍然具有挑战性。以前基于大视觉语言模型（LVLM）的方法依次用一个或多个特殊标记表示引用的目标，将多个目标视为单独的输出而不是连贯的集合，并且几乎不提供捕获集合级属性（例如完整性和互斥性）的激励。我们将开放式引用分割重新表述为明确的集合级概念预测，并提出集合概念分割（SetCon），它使用 LVLM 生成的自然语言概念，而不是特定于分割的标记，作为联合掩码集解码的语义条件。分层语义分解首先预测定义目标范围的共享集合级概念，然后将其细化为与目标子集对齐的细粒度概念组。为了支持这一点，两阶段注释管道通过分层语义监督（236k 样本，784k 概念短语）增强了现有推理分割数据集。 SetCon 在图像基准上取得了最先进的结果（gRefCOCO 上 +3.3 gIoU，MUSE 上 +12.1 gIoU），并且随着参考目标数量的增加，利润也随之增加。该概念界面还在检测和跟踪设置下转移到视频，在七个参考视频基准上产生了新的最先进的结果，包括 MeViS 上的 +10.9 J&F 和 Ref-SeCVOS 上的 +12.4 J&F。