论文

RePrompT:用于将结构化 EHR 编码器与 大语言模型 集成的循环提示调整

RePrompT: Recurrent Prompt Tuning for Integrating Structured EHR Encoders with Large Language Models

模型训练参数高效训练

摘要

大语言模型 (LLM) 通过推理纵向临床信息来捕获上下文丰富的患者轨迹,从而在挖掘电子健康记录 (EHR) 方面表现出了强大的前景。然而,利用 LLM 进行结构化 EHR(例如标准化诊断和药物代码)面临两个关键挑战。首先,将带有时间戳的 EHR 序列转换为纯文本可能会掩盖时间结构和代码身份,从而削弱捕获代码共现和纵向规律的能力。其次,与学习跨患者共享的、与任务一致的表示空间的队列训练预测模型不同,LLM 通常应用于病例隔离的推理设置,其中每个患者都被独立处理,而不利用群体水平模式。为了应对这些挑战,我们引入了 RePrompT,这是一个时间感知的 LLM 框架,它通过提示调整集成结构化 EHR 编码器,而无需修改底层架构。具体来说,RePrompT 经常合并先前访问的潜在状态以保留纵向信息,并通过从队列训练的、与任务对齐的 EHR 编码器派生的可训练提示词元注入人口级别信息。 MIMIC-III 和 MIMIC-IV 上的实验表明,RePrompT 在多个临床预测任务中始终优于基于 EHR 和基于 LLM 的基线。