论文

ReG-SAM:用参考图及血管原型适配基础分割

ReG-SAM: Reference Graph-Driven SAM for 2D Foundational Vessel Segmentation

应用与实践视觉感知与空间理解

摘要

医学图像中的血管分割对于从诊断到治疗计划的许多临床任务至关重要。然而,由于复杂的血管形态和多样化的成像条件,它仍然具有挑战性。现有的深度学习方法很少旨在构建跨解剖结构和模式的通用血管分割器。虽然Segment Anything模型(SAM)在医学图像分割方面表现出了良好的前景,但其原始设计并未充分利用血管形态,并且难以处理细粒度的血管结构,从而导致性能不佳。在本文中,我们提出了 ReG-SAM,这是一种基于 SAM 的框架,专为 2D 血管分割而定制,利用参考图集来增强血管表示。具体来说,我们引入了从参考掩模派生的两种模态感知表示:从图中编码全局空间特征的图提示嵌入(GPE),以及从多尺度特征图和血管掩模中捕获细粒度模态特定血管特征的血管原型嵌入(VPE)。由于两者都需要在推理过程中不可用的血管掩模,并且需要鲁棒的模态感知血管​​特征表示,因此我们构建了一个模态血管数据库,并开发了两种参考图引导的表示学习方案,用于使用数据库中的样本而不是真实掩模来估计 GPE 和 VPE。跨越 19 个数据集的广泛实验表明,ReG-SAM 始终优于现有基线,即使是那些使用手动提示的基线,尤其是在具有挑战性的薄血管上。

ReG-SAM以参考图和血管原型增强查询图像的血管分割。
图1(图注摘要):ReG-SAM以参考图和血管原型增强查询图像的血管分割。