论文

通过双优先级联合预训练构建的通用结构脑 MRI 基础模型

A generalizable structural brain MRI foundation model built through dual-priority federated pretraining

模型训练预训练

摘要

基础模型有望对发育、衰老和疾病的结构性脑磁共振成像 (MRI) 进行普遍分析。然而,尽管隐私和治理受到限制,现有模型通常是通过对池数据进行集中预训练来构建的。这种池化优化可能会过分强调队列规模,而忽略来自较小的专业队列的补充信息。在这里,我们展示了 BrainFedFM,这是一种结构性脑 MRI 基础模型,该模型在 164,707 个三维扫描上进行了联合预训练,这些三维扫描取自不同的现实世界数据分布,并在 42 个联合站点进行组织。 BrainFedFM 使用双优先级联合预训练,将每个站点的空间优先级屏蔽与服务器上的站点优先级聚合相结合,以在本地强调信息丰富的解剖区域,并在全局范围内优先考虑站点贡献。在涵盖 17 个分类、回归和分割任务的 20 个下游数据集中,BrainFedFM 在七个模型(包括四个集中式基础模型)中实现了最先进的性能(平均排名 1.68,增益 50%),同时在分类和回归方面表现出特别一致的优势,并且在代表性不足的人群中表现出稳健性。这些发现证明了 BrainFedFM 的普遍性,并强调联合预训练是一种实用策略,可以从分布式数据开发神经影像基础模型,而无需汇集原始图像。