医疗保健系统规模虚拟患者表示的多模态和时间基础模型

现代医学在孤立的系统中生成大量的多模式数据，但现有的模型没有将临床记录的全部广度和时间深度集成到统一的患者表示中。我们介绍 Apollo，这是一种多模态时态基础模型，基于美国主要医院系统三十多年的纵向医院记录进行训练和评估，该模型由来自 720 万名患者的 250 亿条记录组成，代表 28 种不同的医疗模式和 12 个主要医学专业。 Apollo 学习了一个统一的表示空间，集成了临床词汇中超过 10 万个独特的医疗事件以及图像和临床文本。这个“医学概念图集”形成了一个计算基础，用于对由结构化和非结构化事件序列组成的整个患者护理旅程进行建模，这些事件被阿波罗压缩为虚拟患者表示。为了评估这些整体患者表征的潜力，我们从 140 万患者的保留测试集中创建了 322 个预后和检索任务。我们展示了 Apollo 嵌入的广义临床预测潜力，包括提前五年预测新疾病发病风险（95 项任务）、疾病进展（78 项任务）、治疗反应（59 项任务）、治疗相关不良事件的风险（17 项任务）和医院运营终点（12 项任务）。使用特征归因技术，我们证明模型预测与临床可解释的多模式生物标志物一致。我们评估了 61 个检索任务的语义相似性搜索，并展示了 Apollo 作为使用文本和图像查询的多模式医学搜索引擎的潜力。这些建模功能共同为可计算医学奠定了基础，使计算推理能够访问患者护理的完整背景。