ReportMedSAM：用放射学报告引导医学图像分割

自由格式的放射学报告包含丰富的临床描述，但由于自然语言固有的可变性，将其转换为可靠的分割仍然具有挑战性。现有的管道通常依赖于预定义的器官短语或脆弱的基于规则的推理时间提取，这限制了它们对新解剖结构的可扩展性，并使它们对语言变化敏感。为了解决这个问题，我们提出了 ReportMedSAM，这是一个报告驱动的框架，用可学习的概念库代替离散提取。通过利用冻结医学视觉语言编码器（BiomedCLIP），我们通过对比学习将器官级概念嵌入与大规模临床语料库对齐，建立相互正交的语义锚。我们的方法明确地减轻了器官级语义坍缩，并确保针对不同临床同义词（例如“renal”与“kidney”）的高稳健性。在推理过程中，嵌入临床报告并与该概念库进行匹配，以动态激活特定于任务的专家混合 (MoE) 模块。这种解耦设计允许添加新概念和专家，而无需重新训练现有组件，提供参数隔离的扩展机制，同时保持先前学习的专家不变。在 AbdomenAtlas 3.0 数据集上进行评估，ReportMedSAM 可以有效地解释自由格式的报告，实现具有竞争力的分割准确性，并展示对新临床任务的无缝、无干扰的扩展。