用于参考图像分割的渐进式提示引导跨模态推理

参考图像分割旨在基于自由形式的参考表达来定位和分割图像中的目标对象。核心挑战在于有效地将语言描述与对象级视觉表示联系起来，特别是当引用表达式涉及详细属性和复杂的对象间关系时。现有的方法要么依赖于跨模态对齐，要么采用语义分割提示，但它们通常缺乏明确的推理机制来将语言描述基础到图像中的目标区域。为了解决这些限制，我们提出了 PPCR，一种用于参考图像分割的渐进提示引导的跨模态推理框架。 PPCR 明确地将推理过程构建为语义理解-空间基础-实例分割管道。具体来说，PPCR 首先采用多模态 大语言模型 (MLLM) 生成语义分割提示，捕获目标对象的关键语义线索。基于此语义上下文，进一步生成空间分割提示来推理对象位置和空间范围，从而实现从语义理解到空间基础的逐步过渡。然后将语义和空间分割提示联合集成到分割模块中，以指导准确的目标定位和分割。对标准参考图像分割基准的大量实验表明，PPCR 始终优于现有方法。该代码将公开发布以促进可重复性。