论文
3D 医学图像中的 无需训练 零样本异常检测:使用 2D 基础模型的基于批处理的方法
Toward Training-Free Zero-Shot Anomaly Detection in 3D Medical Images: A Batch-Based Approach Using 2D Foundation Models
摘要
零样本异常检测 (ZSAD) 对于医学成像很有吸引力,因为临床系统必须处理异构采集协议、不断变化的患者群体以及可能无法获得带注释的训练数据的病理情况。大多数现有的零样本异常检测方法都是针对 2D 图像设计的,并且它们对 3D 医学体积的直接扩展受到大规模体积基础模型的稀缺或利用体积上下文的困难的限制。我们提出了 CS3F,这是一种基于 无需训练 批处理的框架,用于使用 2D 基础模型在 3D 医学图像中进行 ZSAD。每个体积都沿着多个解剖轴分解,并通过 2D 视觉 Transformer 进行切片编码。然后通过汇集相邻切片特征将它们转换为局部体积标记。异常分数是从跨主题相互相似性获得的:在其他主题中缺乏密切类似物的标记被分配更高的异常分数。为了减少深度池引起的焦点病变信号的衰减,我们引入了一种从粗到细的标记化策略,该策略无需详尽的匹配即可实现精细分辨率的体积评分。 CS3F 在转移、神经胶质瘤和中风的脑 MRI 上进行评估,并在肺部 CT 上进行验证,以测试超越图谱对齐脑 MRI 的普遍性。结果表明,冻结的 2D 基础模型可以支持 3D 医学图像中的异常定位,并且精细标记化的好处在很大程度上取决于病变对比度和成像模式。