论文

从嘈杂的提示中学习:显着性引导提示 蒸馏 用于使用 SAM 进行稳健分割

Learning from Noisy Prompts: Saliency-Guided Prompt Distillation for Robust Segmentation with SAM

应用与实践视觉感知与空间理解

摘要

分割是临床诊断和监测的核心,但现代医学成像基础模型的可靠性仍然取决于精确提示的可用性。分段任意模型 (SAM) 提供了强大的零样本功能,尽管它在主导实际临床工作流程的弱、通用和嘈杂的提示下崩溃了。在实践中,诸如中心线点之类的注释是粗糙且不明确的,经常会在邻近的解剖结构中漂移,并误导 SAM 走向不一致或不完整的掩模。我们引入了 SPD,这是一种显着性引导提示 蒸馏 框架,可将这些不可靠的线索转换为稳健的指导。 SPD 首先通过轻量级显着性头学习数据驱动的解剖先验,以获得可信的定位图。然后,这些先验驱动上下文提示 蒸馏,它使用来自解剖学相邻切片的提示来验证和丰富噪声提示,从而生成与专家推理行为相匹配的共识提示集。成对切片一致性目标进一步增强了分割过程中的局部解剖一致性。在四个具有挑战性的 MRI 和 CT 基准上进行的实验表明,SPD 始终优于现有的 SAM 适应和监督基线,在基于区域和基于边界的指标方面都取得了巨大的进步。 SPD 为在只有不完善提示的临床环境中部署可靠的基础模型提供了一条实用且有原则的途径。