学习多模态神经影像的稀疏潜在预测基础模型

脑部 MRI 通常采集为具有独特对比加权的多个互补序列，包括 T1 加权成像 (T1w) 解剖和液体敏感 T2 加权 (T2w) 对比。然而，缺乏在健康系统范围内学习跨多种 MRI 对比机制的统一表示的方法。在这项研究中，我们介绍了 Neuro-JEPA，这是一种稀疏多模态神经影像基础模型，它将潜在预测目标与专家混合架构相结合，对核心 T1w、T2w 和流体抑制 FLAIR 成像 (FLAIR) 的脑 MRI 进行编码。我们进一步提供了有益于稳健的神经影像多模态表示学习的架构、掩蔽、客观和稀疏设计选择的系统方法研究。 Neuro-JEPA 对来自 428,647 项研究的 1,551,862 幅扫描进行了预训练，经过模态特定预处理和三个核心结构脑 MRI 序列的数据管理。我们评估了临床和研究环境中学习到的表征，包括来自纽约大学朗格尼分校、纽约大学长岛分校和马萨诸塞州总医院这三个卫生系统的 25 项任务，以及来自 12 个公共数据集的 22 项任务，涵盖单模态、多模态和跨域评估配置。在这些基准测试中，现有的神经影像基础模型与简单的卷积神经网络 (CNN) 基线相比表现出不一致的增益，而 Neuro-JEPA 在所有评估的设置中实现了更强、更一致的性能。这些结果为多模态神经影像表征学习建立了一个可扩展的方法框架，并强调了对基础模型评估协议的需求，其中包括简单基线、临床异质队列和受控多模态比较。