将多模式患者证据与临床生物医学知识图结合起来LLM

临床问题通常取决于将患者的多模式证据与外部生物医学知识联系起来，但现有的预测系统很少明确地表示这种联系，因此它们既不能追溯到其证据来源，也不能删除以衡量其贡献。我们提出了 MM-KG（多模态知识图），它将异构的、多模态的患者观察和生物医学概念表示为一个类型图中的单独层，并通过显式对齐边缘连接。首先，特定模态的协调器将 EHR 文本、成像、基因组和生物样本数据转换为映射到 UMLS 概念的类型化观察，其中路线优先的对齐器链接到生物医学知识图。然后，查询条件检索选择一个紧凑子图，供大语言模型或图神经网络下游使用。我们为 MIMIC-IV 和 ADNI 构建 MM-KG，并使用 2x2 设计对它们进行评估，该设计将患者证据、生物医学知识及其相互作用分开。在需要两个来源的问题上，两个来源单独的表现都远高于随机水平，而它们的组合产生药物控制的 AUROC 相互作用，在 MIMIC 上为 +0.194，在 ADNI 上为 +0.299。在留出五个候选排名中，MM-KG 的表现优于 MindMap +0.131 Hits@1，并在需要咨询患者的项目上领先经过调整的 GraphCare，并且从检索到的数据包中删除单个答案承载关系将 Hits@1 返回到无知识基线。最后，查询条件检索达到 0.731 AUROC，上下文比最强的通用策略少 6.8 倍，而静态知识图上下文在普通结果预测上没有提供一致的增益。因此，知识图有利于临床LLM，不是作为背景上下文，而是作为多模式患者证据与问题所需关系之间的明确链接，MM-KG 使这些链接可检索、可追踪和可测试。