UltraSAM3：通用超声图像分割的概念驱动基础模型

超声成像由于其便携性、低成本和实时性而在临床实践中变得越来越广泛，这使得超声图像分割变得重要。然而，超声图像与 CT、MRI 和其他医学成像方式有很大不同，因为它们经常受到散斑噪声、低对比度、声阴影和模糊边界的影响。现有的超声分割方法仍然主要局限于特定任务模型或基于视觉提示的基础模型，这些模型要么针对特定任务量身定制，要么需要专家提供视觉提示，不方便临床灵活使用。为了应对这些挑战，我们提出了 UltraSAM3，这是一种用于通用超声图像分割的概念驱动的基础模型。与传统模型不同，UltraSAM3 通过使 SAM3 适应超声特定图像-掩模-概念三元组来实现基于文本的目标规范。该模型在涵盖 37 个公共数据集和 13 个解剖类别的大规模超声分割语料库上进行训练，使其能够将超声视觉模式与不同器官和病变中具有临床意义的概念结合起来。为了进一步提高现实临床交互下的可用性，我们提出了一种指令引导代理，可将复杂的自然语言查询解析为 UltraSAM3 的简洁超声概念提示。大量实验表明，UltraSAM3 在多器官超声基准、外部数据集和视觉提示增强设置上始终优于代表性概念和文本驱动的生物医学分割模型。此外，该代理还提高了复杂用户指令的分段鲁棒性。这些结果表明，特定于超声的概念适应对于构建可推广的交互式超声分割基础模型是有效的。