论文
文本知道什么,表格知道何时:通过检索增强多模态对齐重建临床时间线
Text Knows What, Tables Know When: Clinical Timeline Reconstruction via Retrieval-Augmented Multimodal Alignment
摘要
重建精确的临床时间表对于建模患者轨迹和预测脓毒症等复杂、异质性疾病的风险至关重要。虽然非结构化的临床叙述提供了对患者病程的语义丰富且上下文完整的描述,但它们通常缺乏时间精确性并且包含模糊的事件时间。相反,结构化电子健康记录 (EHR) 数据提供了精确的时间锚点,但遗漏了大部分具有临床意义的事件。我们引入了一种检索增强的多模态对齐框架,该框架弥补了这一差距,以提高从文本中提取的绝对临床时间线的时间精度。我们的方法将时间线重建制定为基于图的多步骤过程:它首先从叙述中提取中心锚事件以构建初始时间支架,将非中心事件相对于该主干放置,然后使用检索到的结构化 EHR 行作为外部时间证据来校准时间线。在跨越 MIMIC-III 和 MIMIC-IV 的 i2m4 基准上使用指令调整的 大语言模型 进行评估,我们的多模态管道持续提高了绝对时间戳精度 (AULTC),并提高了几乎所有评估模型相对于单模态纯文本重建的时间一致性,而不会影响事件匹配率。此外,我们的实证差距分析表明,表格记录中完全不存在 34.8% 的文本衍生事件,这表明与单独使用任一来源相比,调整这些模式可以对患者轨迹进行更准确、更具临床信息的重建。