nnFoundation：放射学 3D 基础模型

放射人工智能发展迅速，但大多数系统仍然局限于特定任务、数据密集型，并且在领域转移的情况下很脆弱。基础模型有望提供更具可转移性和数据效率的解决方案，但现有方法规模有限，评估范围狭窄，并且通常假设单个预训练模型可以支持不同的下游任务。在这里，我们介绍 nnFoundation，互补卷积和基于 Transformer 的 3D 放射学基础模型。 nnFoundation 在人类无线电组计划 (THRP) 内开发，接受了来自 125 个机构和公共数据集的 210 万张 CT、MRI 和 PET 图像卷的训练。我们在涵盖分割、检测、分类、报告生成和图像检索的 108 项任务中对它们进行评估，包括外部合作伙伴在域转移下以及在低数据和低计算环境下的评估。在所有任务类型中，我们基于卷积和Transformer的 nnFoundation 模型始终优于先前的 3D 基础模型和从头开始的训练，为放射成像建立了最先进的性能。然而，性能遵循一致的任务相关结构：卷积 nnFoundation 模型主导空间局部任务，而基于 Transformer 的 nnFoundation 模型在需要全局语义推理的任务和冻结特征设置中表现出色。事后动态地将基础模型拓扑与数据集特征对齐，进一步改进了跨异构 3D 设置的传输。这些结果表明，可转移的 3D 放射学性能不是由单一通用模型决定的，而是由可扩展预训练、互补架构和数据集感知适应的相互作用决定的。我们发布了集成到 nnU-Net 和 nnDetection 中的 nnFoundation 模型，从而能够在已建立的放射学工作流程中立即应用。