论文
GRCD:多病灶胸部 X 射线对的有定位依据的区域变化检测
GRCD: Grounded Region Change Detection for Multi-Finding Chest X-Ray Pairs
摘要
放射科医生通常会比较当前和之前的胸部 X 光检查以跟踪疾病进展,并生成描述多个病灶的后续报告,每个发现都定位于一个解剖区域并注释有时间变化状态。现有的自动化方法要么从单个图像生成报告而不对时间上下文进行建模,要么合并时间信息但不将其输出空间化。将时间推理与空间基础相结合的少数方法仅限于单一发现描述,而未解决具有混合变化方向的多重发现报告。我们提出了 GRCD,这是一个在多重检查设置中根据胸部 X 射线对生成包含病灶定位的报告的框架。我们首先通过识别和纠正源注释中的两个系统标记错误来构建严格清理的时间胸部 X 射线对数据集。然后,我们引入了一个区域引导变化词元模块,该模块对跨解剖结构的每个区域的时间变化进行编码,并通过将前置空间词元与门控交叉注意力相结合的双路径策略将该信号注入到语言模型中。在多重发现测试集上,GRCD 在文本生成和临床准确性指标方面优于现有基线,并在变化检测方面有所改进。消融研究证实,双路径设计在文本和临床指标方面优于单独的整合策略,并且区域级变化编码对于多重发现生成是必要的。代码可在 https://github.com/UTSA-VIRLab/GRCD 获取