基于CheXpert Plus的X光报告生成：预训练、推理与评测

摘要

基于 X 射线图像的放射学报告生成（RRG）构成了医疗人工智能领域的一个关键研究方向，在减轻临床医生的诊断工作量和缩短患者等待时间方面具有巨大的潜力。尽管近年来取得了巨大进步，但由于标准化基准不足和通用大型模型的领域适应不足，该领域面临着明显的瓶颈。值得注意的是，新发布的CheXpert Plus数据集没有附带基线实现和评估结果，这阻碍了后续算法的标准化训练、定量评估和公平比较。为了缓解这一限制，我们在 CheXpert Plus 上建立了一个全面的基准，涵盖流行的 X 射线报告生成模型和大型语言模型。该基准为即将推出的方法提供了可靠的比较基础，并使研究人员能够快速识别该领域内最先进的方法。除了基准构建之外，我们在大型模型的范式下重新思考 X 射线 RRG，并提出了一种称为 MambaXray-PRB 的新颖框架。我们的框架通过多阶段大型模型预训练和多模式思想链推理提高了报告生成性能并增强了模型可解释性。该流程由三个连续阶段组成：自监督自回归建模、X 射线报告对比学习以及推理和报告生成的训练后优化。对 IU X 射线、MIMIC-CXR 和 CheXpert Plus 数据集的大量实验验证了 MambaXray-PRB 在生成放射学报告方面的有效性。本文的源代码可在https://github.com/Event-AHU/Medical_Image_Analysis上获取

基于CheXpert Plus的X光报告生成：预训练、推理与评测：论文原图 — 图 1：本文在 CheXpert Plus 数据集上基于 LLM/VLM 的基准模型（绿色圆圈）和主流 MRG 模型（蓝色圆圈）的概述。 CXPMRG-Bench集成了30种主流算法、16种大型语言模型和9种视觉语言模型，用于X射线医疗报告生成。