用于结构化电子健康记录临床预测任务的可解释 Transformer 模型

结构化电子健康记录 (EHR) 的预测模型仍然是医疗保健机器学习的核心，但很少有人共同强调定量实验室信息和输入医疗事件的可解释性。我们提出了 BERT-LER，这是一种用于编码 EHR 时间线的 BERT 风格模型，根据 7500 万患者的去识别化 EHR 数据集进行了预训练和微调，它将实验室测试结果编码为离散标记，同时通过基于百分位数的分箱保留分级信息，并与基于输入 EHR 序列的 词元级 属性的集成梯度配对。我们根据公共 EHRShot 基准套件和基于真实世界数据的哮喘严重程度进展研究对我们的方法进行基准测试。这通过在单一框架中统一实验室值表示和可解释性，同时评估预测性能和解释是否普遍超出标准临床预测任务，解决了 EHR 基础式建模中的方法论差距。在 EHRShot 和哮喘任务中，BERT-LER 实现的预测性能可与公开的基准模型相媲美，并且在实验室相关任务上通常超过公开的基准模型，并提供与临床已知风险因素一致的归因。我们的架构和可解释性方法可以使用在结构化 EHR 上训练的语言模型应用于许多治疗领域和预测任务。