MMAP：用于纵向阿尔茨海默病预测的多模式缺失感知预训练

临床决策在很大程度上依赖于通过寻求了解以多模式医疗数据为特征的患者健康状况来预测疾病进展轨迹。人工智能在从多模式医疗数据中学习有用的表示以预测疾病进展并帮助临床决策方面具有巨大的潜力。然而，预测人工智能模型的发展受到医疗数据集中经常出现的模态缺失和表格数据不完整的限制。此外，仅疾病标签可能只能为从高维多模态数据中学习表示提供有限的监督信号。在这里，我们提出了 MMAP，一种新颖的多模态缺失感知对齐预训练方法，用于从不完整数据中学习图像表格表示。图像编码器通过高效的 sigmoid 对比学习与生成重建相结合进行预训练。表格编码器建立在表格基础模型之上。缺失的标记生成器使两个编码器能够将不完整的数据作为输入，从而使模型能够针对缺失的模态（无论是缺失图像还是缺失表格数据）具有鲁棒性。我们评估了所学习的多模态表示在阿尔茨海默氏病两项具有挑战性的纵向临床任务中的临床实用性：预测疾病阶段转换和预测淀粉样蛋白状态。所提出的方法优于强大的多模态和单模态基线。