具有多模式输入的自回归 EHR 基础模型

在标记化电子健康记录 (EHR) 上训练的自回归基础模型可以支持零样本临床预测，但大多数仅在结构化事件代码上运行，并且没有以原则性的方式合并多种模式。我们提出了一个框架，使用特定于模态的潜在压缩和时间对齐的门控交叉注意，根据辅助临床模态（包括心电图波形、胸部 X 射线图像和临床记录）调节此类模型。我们研究了两个关键的设计选择：（1）如何在进入多模态交叉注意之前压缩长的每模态序列（例如心电图时间序列）。此功能对于减少计算开销可能至关重要，并且可能有利于泛化； (2) 每种模态的预训练编码器的选择如何影响下游性能。通过 MIMIC-IV 上的受控消融，我们表明最好的潜在压缩配置优于未压缩的交叉注意力和均值池。编码器的选择具有明显的模态内效应，更强的预训练编码器始终优于较弱的替代方案。我们进一步表明，仅添加辅助方式并不能保证 ICU 死亡率预测比仅 EHR 基线有所改善。这意味着需要仔细设计融合架构并在临床环境中进行适当的评估。