BrainAnytime：具有任意模态可用性的脑图像分析的解剖感知跨模态预训练

临床诊断检查通常遵循模态升级路径：在初步临床评估后，临床医生从常规结构成像（例如 MRI）开始，有选择地添加 FLAIR 或 T2 等序列以细化差异，并为标准评估后仍不确定的病例保留分子成像（例如淀粉样蛋白-PET）。因此，观察到患者具有异质且通常不完整的模态子集。然而，大多数当前的人工智能模型都假设固定的数据模式作为模型输入。在本文中，我们提出了 BrainAnytime，这是一个统一的预训练框架，对来自五个数据集的 34,899 个 3D 脑部扫描进行了预训练，支持跨多序列 MRI 和淀粉样蛋白 PET 的任意模式可用性下的脑部图像分析。单一模型可接受任何可用的成像，从单独的 T1 扫描到完整的多模式检查。预训练通过跨模式 蒸馏 (RCMD) 学习 MRI 和 PET 之间的结构分子对应关系，并通过图集引导课程屏蔽 (PACM) 优先考虑易患疾病的解剖结构，所有这些都在共享 3D 屏蔽自动编码器 (Multi-MAE3D) 内进行。在四个下游任务和五个临床驱动的模态设置中，BrainAnytime 在大多数模态设置上大大优于特定模态模型、缺失模态基线和大规模脑 MRI 预训练基础模型。值得注意的是，它超越了最强的缺失模态基线，CN 与 AD 和 CN 与 MCI 分类的平均准确度分别相对提高了 6.2% 和 7.0%。代码可在 https://github.com/SDH-Lab/BrainAnytime 获取。