论文

BrainDiff:多模态脑 MRI 的纵向报告生成

BrainDiff: Longitudinal Report Generation for Multimodal Brain MRI

模型训练监督微调与指令调优

摘要

神经放射学家很少单独阅读脑部 MRI,但自动脑部 MRI 报告生成几乎完全是为单一研究而构建的。时间分析已在胸部 X 线摄影和胸部 CT 上进行了探索,但据我们所知,脑 MRI 的纵向报告(其间隔变化通常是微妙的且空间分布的)仍未得到解决。我们推出了 BrainDiff,这是第一个用于脑部 MRI 的纵向视觉语言系统。 BrainDiff 在相同患者对上的表现优于前沿通用和单一研究神经影像模型。此外,BrainDiff 在外部跨医院队列中保留了 91% 的内部 RadGraph-XL 实体+关系 F1 (rg_er)。除了系统之外,我们还提供了三项分析。首先,我们确定了两个独立的基础杠杆:一个具有先前报告退出的反事实目标,这将测量图像的可靠性增加了约 47%,以及一个分阶段的课程。总之,这些干预措施将图像依赖度从基线提高了 2.5 倍。其次,我们提供了先前报告可用性和图像身份的阶乘,隔离了 +0.0387 rg_er 的视觉贡献,当先前报告被保留时,该视觉贡献会增加。第三,对候选骨干网的廉价变化解码性测试表明,间隔变化的可解码性比单一研究病理学弱得多(0.60 vs. 0.77 AUROC)。代码可在 https://github.com/jhuldr/BrainDiff 上公开获取。