CheXthought：用于胸部 X 射线解读的临床思维链推理和视觉注意的全球多模态数据集

胸部 X 射线判读是医学中最常执行的诊断任务之一，也是人工智能开发的主要目标，但当前的视觉语言模型主要是在配对图像和报告的数据集上进行训练，而不是在临床推理基础上的认知过程和视觉注意力。在这里，我们展示了 CheXthought，这是一个全球性多模式资源，包含来自 71 个国家的 501 名放射科医生的 50,312 幅多重读取胸部 X 光片的 103,592 条思维链推理轨迹和 6,609,082 条同步视觉注意注释。我们的分析揭示了专家如何部署不同的视觉搜索策略、整合临床背景和传达不确定性的临床推理模式。我们在四个维度上展示了 CheXthought 的临床实用性。首先，CheXthought 推理在事实准确性和空间基础方面显着优于最先进的视觉语言模型思想链。其次，用作推理时间提示的视觉注意力数据可以恢复错过的发现并显着减少幻觉。第三，在 CheXthought 数据上训练的视觉语言模型实现了显着更强的病理分类、视觉 忠实性、时间推理和不确定性通信。第四，利用 CheXthought 的多阅读器注释，我们直接从图像预测人与人以及人与 AI 的分歧，从而实现案例难度、不确定性和模型可靠性的透明沟通。这些发现使 CheXthought 成为推进多模式临床推理和开发更透明、可解释的视觉语言模型的资源。