论文

CheXTemporal:胸部放射成像中的时间推理数据集

CheXTemporal: A Dataset for Temporally-Grounded Reasoning in Chest Radiography

模型评测基准与评测资源

摘要

胸部X光片解读需要对先前和当前的研究进行时间推理,但大多数视觉语言模型都是在静态图像报告对上进行训练的,并且缺乏对纵向变化建模的明确监督。我们引入了 CheXTemporal,这是一个用于胸部 X 线摄影中基于时间的推理的数据集,由配对的先前当前胸部 X 射线 (CXR) 以及发现级别的时间和空间注释组成。该数据集包括五级进展分类法(新的、更差的、稳定的、改进的、已解决的)、病理学的局部空间监督、配对研究之间的明确时空对齐以及用于跨领域评估的多源覆盖。我们还构建了一个 28 万对银数据集,具有自动导出的时间和解剖监督,用于在较弱监督下进行大规模评估。利用这些资源,我们在零样本设置中评估多个最先进的视觉语言 CXR 模型的基础和进展分类任务。在黄金和白银评估中,当前模型在空间基础、细粒度时间推理和分布变化下的鲁棒性方面表现出一致的局限性。特别是,模型在显着进展类别(例如更差)上的表现要好于在稳定和解决等暂时微妙状态上的表现,这表明胸部放射线照相中纵向疾病演变的建模有限。