论文

从采集中学习:元数据驱动的多模态 预训练 用于心脏 MRI

Learning from Acquisition: Metadata-driven Multimodal Pre-training for Cardiac MRI

模型训练预训练

摘要

心脏磁共振成像 (CMR) 通常会记录结构化采集元数据,但大多数 CMR 基础模型主要依赖于仅图像 预训练,而这种自然可用的弱语义监督来源在很大程度上尚未得到充分探索。我们提出了 MetaCLIP-CMR,一种基于对比语言图像 预训练 (CLIP) 的元数据驱动框架,它将成像模态、解剖视图、扫描仪供应商、场强和扫描仪模型转换为用于 CMR 表示学习的文本监督。预训练的图像编码器在成像模态分类、电影视图分类和心脏分割方面进行评估。 MetaCLIP-CMR 实现了 86.8% 的模态精度和 86.5% 的电影视图精度,明显优于 ImageNet 和掩模重建初始化。对于下游心脏分割,MetaCLIP-CMR 在完整数据和 20% 微调 方案下评估的 ACDC 和 M&Ms 电影短轴 (SAX) 设置中始终获得最高的 Dice 分数。与最近以图像为中心的大规模 CMR 预训练 模型相比,MetaCLIP-CMR 实现了可比的 ACDC 分割性能,同时需要不到 预训练 图像比例的 1%。这些结果表明,元数据学习提供了一种自然且易于使用的策略,可将常规记录的采集信息转化为基础级 CMR 表示学习的有效监督,凸显了元数据驱动的多模态 预训练 的前景。