论文
用于肿瘤学纵向患者代表和可扩展洞察力生成的多模态基础模型
A Multimodal Foundation Model for Longitudinal Patient Representation and Scalable Insight Generation in Oncology
摘要
精准肿瘤学需要一个患者状态的纵向模型,以捕获癌症随时间的演变和治疗,并整合多模式观察。我们介绍了 oFM,这是一个基于 167 万癌症患者的现实肿瘤学队列开发的基础模型,它将临床轨迹与 DNA、RNA 和 H&E 病理学相结合。患者级别分区保留用于训练、验证和测试,有超过一百万患者用于训练。 oFM 对日常临床和分子事件进行编码,并与病理图像一起,随着时间的推移将它们整合起来以产生患者状态嵌入。我们根据专家策划的临床和分子基线特征评估冷冻的 oFM 嵌入。在预后基准中,oFM 改善了治疗反应、无进展生存期和总生存期的 AUC(总生存期为 0.774 vs. 0.563)。在 11 个比较治疗队列中,oFM 嵌入实现了比基线特征高出三倍的汇总和量表标准化治疗效益 AUTOC,并在 11 个队列中的 9 个队列中提高了效益排名,并在两个治疗组中提供了更强的预后区分。我们还评估了一个机制发现框架,该框架通过基于证据的时间图将其预测结果与临床和生物学基础机制联系起来,从而解释基于 oFM 嵌入的下游模型,从而能够在临床和药物开发应用中进行评估。