论文
大语言模型 作为临床预测的统一多模式学习器
Large Language Models as Unified Multimodal Learners for Clinical Prediction
摘要
电子健康记录将自由文本临床叙述与生命体征、实验室值和合并症等结构化测量相结合。然而,大多数临床预测系统仍然依赖于特定于任务的融合架构,将每种模式的专用编码器与学习的组合机制配对,而这些组合机制必须针对每个新任务和临床环境进行重新设计。我们提出了一个更简单的替代方案:将所有患者数据(无论模态如何)转换为单个自然语言序列,并端到端地微调预训练的语言模型,无需进行融合的架构修改。我们在三个临床上不同的预测任务中评估了这种方法:MIMIC-III 上的院内死亡率、使用德国移植中心的纵向数据预测移植失败以及救护车记录中的紧急分诊分类 - 将基于编码器 (ModernBERT) 和基于解码器 (Llama 3.1、Gemma、DeepSeek-R1-Qwen、Qwen3) 微调 与已建立的多模态基线进行比较,以及针对移植失败,目前使用的梯度增强模型移植后患者管理的临床实践。在所有三个任务中,统一的文本序列化匹配或超过特定任务的多模式基线,并且在移植失败预测方面优于临床部署的梯度增强系统。这些结果表明,无需定制融合架构的单一基于序列化的范式足以进行多模式临床预测——显着降低系统复杂性,同时匹配或超过专门设计。