通过概念指导实现稳健的上下文分割

上下文分割（ICS）需要一个模型仅使用少量参考图像及其相应的掩模来分割查询图像中的目标区域，而不更新任何参数。尽管最近取得了进展，但先前的 ICS 研究在很大程度上忽略了一个关键方面：系统鲁棒性，即模型是否可以在不同参考下为同一查询产生稳定的分割结果。在这项工作中，我们从鲁棒性的角度重新审视 ICS，并引入一种新颖的范式，即概念引导上下文分割（CG-ICS），它通过从参考中提取高级语义概念而不是仅仅依赖于底层视觉匹配来执行分割。具体来说，CG-ICS 引入了一个概念推理模块，该模块使用 MLLM 来提出候选选项，并使用 SAM3 驱动的评分函数和树搜索细化来选择可靠的文本概念，以及一个并行的视觉示例路径，该路径通过简单的上下文构造提供查询端空间定位。然后，文本概念和视觉示例都被用来激活冻结的 SAM3 主干的分割能力。对标准 ICS 基准的大量实验表明，CG-ICS 不仅实现了最先进的精度，而且还大大提高了鲁棒性，从而产生更可靠的 ICS 系统，并显着减少了不同参考选择之间的方差。代码可在 https://github.com/Kakarot1103/CG-ICS 获取。