论文
BrainG3N:用于可控 3D 脑部 MRI 生成的双用途标记器
BrainG3N: A Dual-Purpose Tokenizer for Controllable 3D Brain MRI Generation
摘要
三维 (3D) 脑 MRI 是临床神经学和神经肿瘤学的核心,其中生成模型可以增强代表性不足的队列、模拟疾病轨迹并支持保护隐私的数据共享。潜在扩散一直是成像数据建模的首选解决方案,但它对分词器提出了两个相互竞争的要求:编码器嵌入必须保留下游任务所作用的临床信息,并且解码器必须重建解剖学上忠实的体积。现有的重建驱动的分词器以牺牲第一个为代价来实现第二个。为了解决这个问题,我们引入了一种基于完全体积掩蔽自动编码器(MAE)的分词器,用于 3D 脑 MRI 潜在扩散、解耦编码器和解码器:冻结的 3D MAE 编码器产生临床信息嵌入,而专用的 CNN 解码器从这些嵌入的线性投影重建体素。我们在来自 18 个公共队列的 35,309 卷数据上对编码器进行了预训练,涵盖四种模式、十种疾病类别和 200 多个采集位点,并在两种设置中展示了其双重实用性。首先,在 23 项任务的线性探测基准上,编码器在 23 项任务中的 21 项上优于或匹配 SOTA 模型(即 BrainIAC、BrainSegFounder 和 MedicalNet)。其次,在这些临床信息嵌入上训练的条件扩散 Transformer (DiT) 支持跨六个变量的条件生成和患者特定的纵向预测。这些结果共同建立了一个单一的 3D 脑 MRI 嵌入空间,能够执行下游临床任务和可控生成。