论文

面向肺栓塞风险评估的高效多模态临床问答

Efficient Multimodal Clinical Question Answering for Pulmonary Embolism Risk Assessment

模型评测基准与评测资源

摘要

肺栓塞(PE)是一种高风险心肺疾病,其治疗需要及时诊断和对未来临床风险的可靠评估。由于 PE 护理通常结合计算机断层扫描肺血管造影 (CTPA)、放射学解释和纵向电子健康记录 (EHR) 证据,因此它为评估紧凑的多模态语言模型提供了具有临床意义的设置。在这项工作中,我们在 INSPECT 上使用高效的多模态大语言模型 (MLLM) 构建了一个基准,INSPECT 是一个多模态 PE 数据集,包含来自 19,402 名患者的 23,248 项 CTPA 研究。我们将八个诊断和预后任务制定为结构化临床问答问题,并在仅 CTPA、仅 EHR 和 CTPA+EHR 设置下评估典型的高效 MLLM,并具有零样本和少样本提示。结果表明,当 EHR 证据可用时,尤其是在 CTPA+EHR 输入下,Gemma4 E4B 和 Gemma4 E2B 表现更强劲。任务级分析进一步表明,PE 诊断比预后任务(尤其是再入院预测)具有更高的性能。这些观察结果表明,紧凑的多模态模型在早期 PE 风险检测和解释方面具有巨大潜力。

面向肺栓塞风险评估的高效多模态临床问答:论文配图
图 1:代表性结构化临床 QA 示例。每个面板显示模型可见的证据类型、特定于任务的问题、仅供说明的参考答案以及结构化模型响应。在推理过程中,不会向模型提供参考答案和放射学报告印象。