论文
SAMRI-3D:使用全局卷词元调整 SAM2 进行 3D MRI 分割
SAMRI-3D: Adapting SAM2 for 3D MRI Segmentation with Global Volume Tokens
摘要
Segment Anything Model 2 (SAM2) 等基础模型已经改变了自然图像和视频分割,最近的工作已经开始将它们应用于医学成像。然而,这些改编主要是通用模型,将 MRI 作为多种模式中的一种。尽管 MRI 的低软组织对比度使许多边界在各个切片上实际上不可见,但大规模的 MRI 特定建模和基准测试仍然有限。我们提出 SAMRI-3D,这是使用 SAM2 进行 3D MRI 分割的基准和方法。 SAMRI-3D 基准是迄今为止最大的仅 MRI 评估 - 来自 34 个数据集(27 个公共数据集,7 个内部数据集)的 10,392 卷数据,跨越 12 个解剖领域和 10 多个序列,具有明确的可见/不可见分割。仅冻结图像编码器和 微调 轻量级解码器和内存模块,将平均 Dice 从 0.58(零样本 SAM2)提高到 0.76,超过了最近基于 SAM 的医学模型(SAMed-2 0.69、Medical-SAM2 0.49、SAM-Med3D 0.37),具有很强的统计显着性。为了瞄准不可见的边界,我们引入了全局卷词元(GVT):使用截断符号距离场(TSDF)重建目标训练的持久内存词元,该目标在推理时被丢弃(零附加成本)。这个完整的模型 SAMRI-3D 在所有 34 个数据集上获得了最佳准确度 (0.78) 和最低方差,并且独特的是,在 8 个保留数据集上没有出现下降(0.79 未见 vs. 0.78 已见);每序列分析证实 TSDF 目标在每切片对比度最弱的情况下帮助最大。我们将在本文中发布基准、代码和模型。