开放词汇内窥镜组合参考分割的属性检索

参考图像分割（RIS）旨在分割自然语言指定的图像区域，实现细粒度、可控的视觉理解。然而，将 RIS 扩展到内窥镜图像会带来独特的挑战，包括稀缺的高质量注释和复杂的、特定领域的图像文本关系。尽管最近的视觉语言模型表现出强大的跨域对齐，但它们通常无法在内窥镜设置中捕获细粒度的文本线索，从而导致性能不佳和泛化能力有限。为了应对这些挑战，我们推出了 ReferEndoscopy，这是内窥镜领域 RIS 的大规模基准。在此数据集的基础上，我们提出了基于属性检索的内窥镜-RIS (AR-ERIS) 框架，用于开放词汇内窥镜组合参考分割。 AR-ERIS 利用属性检索进行开放词汇内窥镜组合参考分割，并在精选的 ReferEndoscopy 数据集上进行预训练，在模拟和真实内窥镜数据上实现最先进的性能和强大的泛化能力。数据集和代码将在审核过程完成后公开发布。