论文
M2G-LLM：通过多模态图推理和 LLM 上下文注入增强临床预测
M2G-LLM: Enhancing Clinical Prediction via Multimodal Graph Reasoning and LLM Context Injection
摘要
整合不同的数据模式（例如临床记录、实验室结果和医学成像）对于推进临床决策至关重要。虽然大型语言模型 (LLM) 在处理非结构化临床文本方面表现出了卓越的性能，但其整合非文本模式的能力有限，阻碍了其在医疗保健应用中更广泛的应用。在这里，我们介绍 M2G-LLM（多模态 MedGraph-LLM），这是一种新颖的框架，可通过图神经网络（GNN）通过多模态集成和对齐来增强 LLM。我们的方法对患者就诊之间的时间关系进行建模，在临床相似的患者之间传播信息，并对齐异构数据源以构建丰富的多模态上下文向量。这些向量被注入大语言模型的中间层，从而能够对文本和非文本模式进行联合推理。我们在 MIMIC-IV 和 MIMIC-CXR 数据集上评估了 M2G-LLM，证明了临床预测任务相对于强大的基线模型的改进。我们的结果强调了将大语言模型的语言理解与 GNN 的关系推理能力相结合以进行全面、多模式医疗保健分析的前景。