论文
临床数据的不确定性感知基础模型
Uncertainty-Aware Foundation Models for Clinical Data
摘要
医疗保健基础模型在很大程度上遵循自然语言处理和计算机视觉的范式,强调大规模预训练和对异构临床数据的确定性表示。然而,临床观察本质上是不完整的,反映了对潜在生理状态的稀疏、不规则和模态依赖的测量。在这项工作中,我们提出了一个不确定性感知基础建模框架,该框架不是将每个患者表示为点嵌入,而是表示为合理潜在状态的分布。通过学习集值表示并强制同一患者的部分视图之间的一致性,该模型捕获了不变的可推断内容,同时明确编码了认知不确定性。我们将该公式与多模态编码器和可扩展的自监督目标相结合,结合重建、对比对齐和分布正则化。在不同的临床任务中,我们的方法提高了预测性能、缺失数据下的稳健性以及相对于强基线的不确定性校准。这些结果表明,对未观察到的内容进行建模,而不仅仅是对已观察到的内容进行建模,构成了医疗保健基础模型的关键归纳偏差。