论文
RobustMedSAM:通过稳健基础模型适应进行抗退化医学图像分割
RobustMedSAM: Degradation-Resilient Medical Image Segmentation via Robust Foundation Model Adaptation
摘要
基于分段任意模型 (SAM) 构建的医学图像分割模型在干净的基准上实现了强大的性能,但其可靠性在现实图像损坏(例如噪声、模糊、运动伪影和特定模态失真)的情况下通常会降低。现有方法要么解决医疗领域的适应问题,要么解决腐败鲁棒性问题,但不能同时解决这两者。在 SAM 中,我们发现这些功能集中在互补模块中:图像编码器保留医学先验,而掩模解码器则控制损坏鲁棒性。受此观察的启发,我们提出了 RobustMedSAM,它通过在共享 ViT-B 架构下初始化 MedSAM 的图像编码器和 RobustSAM 的掩模解码器来采用模块式检查点融合。然后,我们仅对来自 MedSegBench 的 35 个医学数据集(涵盖 6 种成像模式和 12 种损坏类型)的掩模解码器进行微调,同时冻结其余组件以保留预先训练的医学表示。我们还研究了一种基于 SVD 的参数高效变体,以实现有限的编码器自适应。对分布内和分布外基准的实验表明,与 SAM 相比,RobustMedSAM 将退化图像 Dice 从 0.613 提高到 0.719 (+0.106),这表明互补预训练模型的结构化融合是稳健医学图像分割的有效且实用的方法。