论文

SGP-SAM:自门提示将 3D 分段任何模型传输到病变分割

SGP-SAM: Self-Gated Prompting for Transferring 3D Segment Anything Models to Lesion Segmentation

模型训练监督微调与指令调优

摘要

诸如分段任意模型(SAM)之类的大型分割基础模型已经重塑了自然图像中的快速分割,并且最近的努力已将这些模型扩展到医学图像和体积设置。然而,直接将 3D SAM 式模型转移到病灶分割仍然具有挑战性,因为(i)中间特征中小、不规则目标的空间表示能力较弱,以及(ii)3D 体积中的极端前景-背景不平衡。我们提出了 SGP-SAM,一种自门控提示框架,用于高效且有效地转移到 3D 病灶分割。我们的关键组件自门控提示模块(SGPM)执行条件多尺度空间增强:轻量级多通道门控单元预测当前特征是否需要额外的多尺度融合,然后才激活多尺度特征融合块以丰富空间上下文。为了进一步解决小病灶学习问题,我们设计了 Zoom Loss,通过结合 Dice 和体素平衡焦点项来增加以病灶为中心的监督权重。MSD 肝肿瘤和 MSD 脑肿瘤(增强肿瘤)的实验显示,与基于 SAM-Med3D 的强转移基线相比,获得了一致的增益。在 MSD 肝肿瘤上,SGP-SAM 比 微调 使 mDice 提高了 7.3%。