使用用于医学图像分割的轻量级框预测器增强 MedSAM

由于数据稀缺和跨模态的高度可变性，医学成像中的语义分割是一项关键但具有挑战性的任务。虽然像分段任意模型 (SAM) 这样的基础模型显示出前景，但它们经常在没有特定适应的情况下难以处理医学图像。此外，尽管点提示是最自然的用户交互形式，但它为可靠的分割提供了不足的空间上下文，特别是当目标结构不规则或对比度较差时。在本文中，我们提出了一种增强的分割框架，它将轻量级 Box Predictor 模块集成到 MedSAM 架构中。 Box Predictor 使用本地化图像嵌入功能，通过单次用户点击来估计近似边界框，提供空间指导，减少点提示的模糊性，同时仅引入 160 万个额外参数和可忽略不计的推理开销。我们引入了一个两阶段训练流程，其中 Box Predictor 在集成到 MedSAM 之前进行独立训练。为了验证我们方法的泛化能力，我们对四个不同的数据集（FLARE22、BRISC、BUSI、LungSegDB）进行了广泛的评估，涵盖不同的成像模式，包括 CT、MRI 和超声。我们的方法提高了跨不同解剖结构和成像领域的分割准确性和稳健性，实现了 0.89 (BUSI)、0.93 (FLARE22)、0.88 (BRISC) 和 0.98 (LungSegDB) 的 Dice 分数。代码可在 https://github.com/Amirhosseinmovahedi/MedSAM-BoxPredictor 获取