Pan-FM：具有显着性引导掩蔽功能的泛器官基础模型，用于弥补鲁棒性缺失

基础模型 (FM) 在医学成像领域显示出巨大的前景，但大多数 FM 都是根据孤立领域内的单峰数据进行训练的，例如单独的脑 MRI。人类衰老和疾病是通过跨器官协调的生物过程产生的，因此激发了学习全身表征的多模态 FM。然而，一个关键的挑战是，现实世界的多模式生物医学数据常常不是随机丢失的，这可能会降低功效、限制普遍性并引入偏差。我们提出了 Pan-FM，这是一种泛器官基础模型，在真实的器官缺失场景下对七个器官（脑、心脏、脂肪、肝脏、肾脏、脾脏和胰腺）的成像进行了预训练。 Pan-FM 使用统一的主干来处理训练和推理过程中的器官缺失问题，并使用基于掩蔽的自 蒸馏 进行预训练。我们发现，朴素的多模态 预训练 会导致主导器官捷径学习偏差，模型过度依赖脂肪和心脏等主导器官。为了解决这个问题，我们引入了显着性引导掩蔽（SGM），它使用模型注意力分布在 预训练 期间自适应地掩蔽主导器官，从而鼓励更平衡的跨器官、全身学习。值得注意的是，SGM 引入的计算开销可以忽略不计，并且可以无缝集成到现有的自监督学习框架中，以改进多器官表示学习。在英国生物库中，Pan-FM 在 13 种疾病类别和 14 种单一疾病实体中实现了比单器官和多器官基线更强的预测，并且在缺失器官的情况下提高了稳健性。 Pan-FM 是系统神经科学多模态学习中现实模态缺失的可扩展解决方案，也是迈向更通用的全身 FM 的一步。