论文

DRRG:用于生成放射学报告的离散扩散框架

DRRG: A Discrete Diffusion Framework for Radiology Report Generation

模型训练监督微调与指令调优

摘要

目的:自动放射学报告生成(RRG)已被广泛探索,以提高报告准确性并减少放射科医生的工作量。大多数现有方法依赖于自回归(AR)框架,该框架逐个生成报告,并且无法修改早期内容,这使得它们容易出现错误传播,并且与放射报告的迭代细化过程不一致。相比之下,离散扩散 大语言模型 (DLLM) 通过迭代去噪生成文本,自然地实现报告细化。然而,DLLM 尚未针对 RRG 进行广泛研究。在本研究中,我们开发并评估了 RRG 的离散扩散框架,该框架能够进行迭代细化,而不是传统的从左到右自回归解码。材料和方法:我们开发了 DRRG,这是一个基于 DLLM 的框架,它将 RRG 表述为迭代屏蔽词元去噪。 DRRG 结合了临床实体感知补充掩模来提高词元监督覆盖范围并强调临床重要实体,以及将图像衍生的临床概念注入视觉表示的概念调节模块。 DRRG 在 MIMIC-CXR 和 CheXpert Plus 上进行了培训和评估。结果:在 MIMIC-CXR 上,DRRG 的 BLEU-4 为 0.210,CheXpert-F1 为 0.549,RadGraph-F1 为 0.281,GREEN 为 0.360,RaTEScore 为 0.604,尽管采用了小得多的 LLM 解码器,但在大多数报告的指标上优于对比方法。在 CheXpert Plus 上,DRRG 在比较方法中获得了最高的 BLEU-4 (0.119) 和 CheXpert-F1 (0.347)。结论:离散扩散通过实现迭代、双向报告细化,为自回归放射学报告生成提供了有效的替代方案。结合以临床为重点的掩蔽和图像衍生概念调节可提高报告质量和临床一致性。