通过下次就诊预测扩展临床记录的复发感知基础模型

虽然大规模预训练彻底改变了语言模型，但其在结构化电子健康记录 (EHR) 领域的潜力仍未得到充分开发。我们提出了 RAVEN，一种基于重复感知下次访问事件预测的连续 EHR 数据的新型生成预训练策略。利用超过一百万个独特个体的数据集，我们的模型学习根据患者病史为下一次就诊自动生成标记化临床事件。我们引入了预测重复事件的正则化，并强调了基于 EHR 的基础模型评估中的一个关键陷阱：当新事件与后续事件无法区分时，重复事件标记可能会夸大性能指标。此外，我们根据经验研究了数据受限、计算饱和的情况下的扩展行为，结果表明，在不相应增加数据量的情况下，简单地增加模型大小并不是最优的。我们通过零样本预测来评估我们的模型，以预测多种疾病的发病率，它与完全微调的基于表示的 Transformer 模型相媲美，并且优于基于标准模拟的下一个词元方法和提示的医学 大语言模型 基线。最后，在没有额外参数更新的情况下，我们证明 RAVEN 可以在有损临床代码映射和特征覆盖差距下泛化到外部患者队列。