Foresight-England：开发全国范围的电子健康记录生成人工智能模型，用于预测 COVID-19 大流行期间的医疗事件

Foresight-England (Foresight-E) 是第一个全国范围的电子健康记录 (EHR) 生成基础模型，专门作为 COVID-19 研究的研究试点而开发。我们评估了它模拟大流行的直接和间接影响的能力。 Foresight-E 是一款拥有 2.43 亿参数的 Transformer 解码器，完全在 NHS England 安全数据环境中从头开始训练。它针对约 6100 万人的去识别化纵向 EHR 进行了训练和评估，整合了初级/二级护理、死亡登记和 COVID-19 数据。训练和验证使用了 2018 年 11 月至 2022 年 12 月期间 90% 的子集（5490 万）；其余 10%（610 万）留作评估。 Foresight-E 对患者时间线进行自回归建模，根据患者之前的病史预测下一个医疗事件。在推理时，它进行零样本操作，无需特定任务的训练即可预测其约 40,000 个代码词汇中的任何概念。我们的标记化方案保留了 ICD-10、OPCS-4 和 SNOMED CT 代码的临床粒度，共同代表绝对和相对时间。我们设计了一个针对 30 天 COVID-19 住院治疗和死亡率的评估框架，包括按人口因素和疫苗接种状况进行的亚组分析。为了评估对未预见的未来数据和大流行的间接影响的泛化能力，我们对 2023 年以来的医疗事件（超出其训练期）的模型进行了测试，并以逻辑回归和 XGBoost 为基准。正如“项目状态”部分所述，英国 NHS 已暂停访问 Foresight-E 项目的数据，这意味着目前无法获得定量结果。相反，我们分享我们的标记化、架构、训练、推理和评估策略，作为构建人口规模 EHR 基础模型挑战的方法模板和案例研究。