论文

UniPro:以提示传播统一二维与三维医学图像分割

UniPro: Unified Multi-Mode Medical Image Segmentation from 2D Images to 3D Volumes via Propagation

模型训练预训练

摘要

医学图像分割仍然沿着两个轴碎片化:分割范式和数据维度。现有方法通常是针对语义、上下文和交互式分割单独开发的,并且进一步专门用于原生 2D 图像或 3D 体积数据。然而,在临床实践中,分割工作流程有多种形式:可以通过语义预测、参考引导分割或用户交互来初始化病例。不管如何开始,细粒度的细化自然会在 2D 视图上进行;对于体积扫描,此类 2D 编辑必须连贯地传播到体积的其余部分。我们提出了 UniPro,这是一个连接分割范例和数据维度的统一模型,使用传播将 2D 分割扩展到 3D 体积。我们的主要见解是,体积传播和上下文分割共享相同的参考条件预测机制,唯一的区别在于参考图像掩模对是来自其他情况还是来自先前分割的相邻切片。在此视图的基础上,UniPro 支持在单个基于切片的框架内进行语义、上下文、交互式和基于传播的分割,使用类先验、参考样本、用户点击和相邻切片预测作为特定于模式的调节输入。为了提高传播可靠性,UniPro 进一步结合了双向和 3D 监控,以规范切片传播,超越每切片损失。跨不同模态和解剖学的大量实验表明,UniPro 在所有分割设置中都实现了强大的性能,从而能够从稀疏 2D 初始化中实现注释高效的 3D 分割,并减少逐片校正工作。

UniPro:以提示传播统一二维与三维医学图像分割:论文原图
图 1:医学图像分割范例的比较。现有的特定任务、通用和基于传播的模型仅覆盖部分设计空间,在分割模式、数据维度或传播能力方面存在限制。 UniPro 将多模式分割、原生 2D 和 3D 数据以及体积传播统一在一个基于切片的框架中。