CheXGround：用解剖区域词元对齐证据的纵向胸片解读

摘要

最近的放射学多模态语言模型在胸部 X 射线报告生成、视觉问答和时间推理方面取得了实质性进展。纵向胸部 X 射线解读通过比较连续检查来描述变化，而视觉基础旨在将临床语言与局部图像证据联系起来。尽管纵向建模和视觉基础都有先进的放射学语言模型，但局部视觉证据如何支持纵向解释仍有待探索。我们引入了 CheXGround，一种基于区域的纵向胸部 X 射线语言模型，代表通过相应解剖区域的配对研究。 CheXGround 从当前和先前的放射线照片中提取解剖区域，将其编码为时间增强的感兴趣区域 (ROI) 标记，并在生成过程中将它们与全局时间图像上下文相结合。为了将这些区域标记与临床文本连接起来，我们提出了时间区域-短语对齐，这是一个预训练目标，可将时间解剖表示与本地化报告短语对齐。我们在单项研究和纵向视觉问答 (VQA)、纵向结果生成、时间证据对齐VQA 和解剖部位定位方面评估 CheXGround。在这些任务中，CheXGround 比最近的基线提高了临床语言质量、时间推理和定位准确性。我们的结果表明，在解剖层面组织纵向证据是扎根放射学语言模型的有力代表。项目页面：https://adonaydem.github.io/chexground-website