论文

以基础模型从全国医疗理赔数据解锁真实世界证据

Foundation Models to Unlock Real-World Evidence from Nationwide Medical Claims

Fan Ma, Yuntian Liu, Xiang Lan, Weipeng Zhou, Jun Ni, Mauro Giuffrè, Lingfei Qian, Xueqing Peng, Yujia Zhou, Ruey-Ling Weng, Huan He, Lu Li, Qingyu Chen, Andrew Loza, Laila Rasmy, Degui Zhi, Yuan Lu, Chenjie Zeng, Joshua C Denny, Lee Schwamm, Daniella Meeker, Lucila Ohno-Machado, Yong Chen, Hua Xu来源日期：2026.05.04

模型训练预训练

摘要

来自大规模真实世界数据（RWD）的证据日益影响监管评估与医疗决策。行政理赔提供人口规模、纵向的医疗利用、支出记录及诊断、手术与用药的详细编码，但其作为医疗基础模型基底的潜力基本未被开发。我们提出ReClaim：一个生成式transformer，在MarketScan理赔数据（2008-2022、超2亿参保人）的438亿医疗事件上从头训练。ReClaim建模跨诊断、手术、用药与支出的纵向轨迹，参数规模扩至1.4亿、7亿与17亿。在超1,000个疾病发病预测任务上，ReClaim平均AUC 75.6%，大幅超越疾病专用LightGBM（66.3%）与基于transformer的Delphi（69.4%），罕见病增益最大。优势在回顾与前瞻评估及两个独立数据集的外部验证中均保持。性能随规模单调提升，后训练较仅预训练再加13.8个百分点。超越疾病预测，ReClaim捕捉财务结局并改进真实世界证据（RWE）分析：医疗支出预测的解释方差较LightGBM从0.28升至0.37；在目标试验仿真中较Delphi平均降低72%的系统偏差。这些结果确立行政理赔作为医疗基础模型的可扩展基底，所学表征跨时期、跨数据源泛化，支撑疾病监测、支出预测与RWE生成。

以基础模型从全国医疗理赔数据解锁真实世界证据：论文配图 — 图 1：ReClaim 框架和评估工作流程。 (a)，患者索赔中的纵向医疗事件被编码为按时间顺序排列的轨迹，ReClaim 基础模型自回归预测未来的医疗事件，包括诊断、手术、药物和支出。 (b)，研究数据集包括划分为最终训练集的 MarketScan 语料库、用于疾病和支出预测的内部测试队列（具有回顾性和前瞻性时间子集）以及两个外部测试数据集：EHRShot 和 Yale New Haven Health (YNHH)。这种分区和外部源支持四种测试场景。 (c)，基于 Transformer 的 ReClaim 模型（Qwen3 架构）通过 next-token 预训练在三个参数尺度（S：140M，M：700M，L：1.7B）进行训练，然后通过特定任务的后训练进行疾病发作预测。 (d)，ReClaim 在三个下游任务上进行评估：超过 1,000 种国际疾病分类第十次修订版、临床修改 (ICD-10-CM) 条件的疾病发作预测、明年医疗保健支出预测以及 RWE 应用，包括使用 ReClaim 嵌入进行倾向评分建模。