论文

CXRMate-2:结构化多模态时间嵌入和易于处理的强化学习,用于生成临床可接受的胸部 X 射线放射学报告

CXRMate-2: Structured Multimodal Temporal Embeddings and Tractable Reinforcement Learning for Clinically Acceptable Chest X-ray Radiology Report Generation

应用与实践行业应用

摘要

胸部 X 射线 (CXR) 放射学报告生成 (RRG) 模型在自动化指标方面取得了快速进展,但由于放射科医生的定性评估有限,其临床效用仍不确定。我们提出了 CXRMate-2,这是一种最先进的 CXR RRG 模型,它通过结构化多模态时间嵌入和高分辨率视觉特征压缩实现易于处理的强化学习 (RL),从而根据研究及其先验的视觉、文本和时间上下文对 LLM 解码器进行高效、统一的调节。这使得组相对策略优化(GRPO)成为可能,其中提出的奖励函数用于改善与放射科医生报告的语义对齐。在 MIMIC-CXR、CheXpert Plus 和 ReXgradient 数据集上,CXRMate-2 与强大的基准相比实现了统计上的显着改进,包括相对于 MedGemma 1.5 (4B),MIMIC-CXR 在 GREEN 和 RadGraph-XL 上分别提高了 11.2% 和 24.4%。为了直接比较 CXRMate-2 与放射科医生的报告,我们进行了盲法、随机定性回顾性评估。三位顾问放射科医生比较了 MIMIC-CXR 测试集中 120 项研究的生成报告和放射科医生报告。生成的报告在 45% 的评级中被认为是可接受的(定义为首选或与放射科医生报告同等评级),八个分析结果中的七个的偏好率没有统计学上的显着差异。对放射科医生报告的偏好主要是由更高的召回率驱动的,而生成的报告始终由于可读性而受到青睐。总之,这些结果定义了临床上可接受的 CXR RRG 的明确途径。提高召回率和对细微发现的检测是放射科医生报告中非劣效性的主要障碍,将 CXR RRG 定位于放射科医生主导的辅助工作流程中进行前瞻性评估。