论文

Brain-DiT:具有元数据条件预训练的通用多状态 fMRI 基础模型

Brain-DiT: A Universal Multi-state fMRI Foundation Model with Metadata-Conditioned Pretraining

模型训练预训练

摘要

当前的功能磁共振成像基础模型主要依赖于有限范围的大脑状态和不匹配的预训练任务,限制了它们学习不同大脑状态的广义表示的能力。我们提出了 Brain-DiT,这是一种通用的多状态 fMRI 基础模型,经过来自 24 个涵盖休息、任务、自然、疾病和睡眠状态的数据集的 349,898 个会话的预训练。与之前依赖于原始信号空间或潜在空间中的掩模重建的 fMRI 基础模型不同,Brain-DiT 采用 Diffusion Transformer (DiT) 进行元数据条件扩散预训练,使模型能够学习捕获细粒度功能结构和全局语义的多尺度表示。通过对 7 个下游任务的广泛评估和消融,我们发现了一致的证据,表明基于扩散的生成预训练是比重建或对齐更强有力的代理,元数据条件的预训练通过将内在神经动力学与群体水平变异性分开来进一步提高下游性能。我们还观察到下游任务对表征尺度表现出明显的偏好:ADNI 分类更多地受益于全局语义表征,而年龄/性别预测相对更依赖于细粒度的局部结构。