论文
ECG Mirage：揭示并缓解视觉语言模型在临床预测中对心电图的利用不足
ECG Mirage: Revealing and Mitigating the Underutilisation of ECGs in Vision-Language Models for Clinical Prediction
摘要
急诊科（ED）决策依赖异质临床信息，包括患者病史、生命体征、化验结果与心电图（ECG）。视觉-语言模型（VLM）可联合处理这些模态，但强大的预测性能并不必然意味着对正确患者ECG的有效利用。我们将这种失效模式称为ECG Mirage：表面上的多模态能力，实则未对患者的ECG信息形成有效依赖。我们区分两种形式：ECG忽视——ECG几乎不带来预测收益；ECG混淆——匹配的ECG优于无图像输入，却不优于错配的ECG。为评估这些行为，我们在固定临床文本与预测目标的前提下，比较使用匹配ECG、结局不一致的错配ECG与无图像输入所获得的预测。在MDS-ED上对四个VLM的评估显示，匹配ECG对ICU入院或临床恶化预测均无一致优势。随后，我们在保持VLM骨干冻结的情况下，用监督学习加条件化直接偏好优化训练四个受限视觉提示。所得模型在ICU入院与恶化预测上分别达到70.6%与67.5%的平衡准确率，并将匹配对错配的性能差距分别扩大到约16.5与5.5个百分点。总体而言，本研究识别了多模态临床预测中的ECG Mirage，并引入视觉提示微调作为高效缓解策略。
