论文

CogRad:用于生成放射学报告的认知启发多代理框架

CogRad: A Cognitively-Inspired Multi-Agent Framework for Radiology Report Generation

智能体系统Agent 架构与控制循环

摘要

自动放射学报告生成 (RRG) 可以减轻放射科医生的工作量,但大多数现有系统在单次前向传递中生成报告,没有机制根据图像检查声明或重新审视已陈述的发现。我们提出了 CogRad,一个受认知启发的多智能体框架,围绕放射科医生阅读过程的四个阶段构建生成。侦察代理通过槽位注意力直接从图像块中发现解剖区域,并分配区域和疾病级别分类分数;分析Agent将代表能力集中在侦察兵标记为可疑的区域; Writer 代理将这些信号编译成 大语言模型 的疾病门控视觉前缀;验证者代理在视觉蕴含损失的情况下监督训练,并在推理时逐句重新检查自己的草稿,重新生成任何它认为没有充分依据的报告。在 CheXpert Plus 上,CogRad 的 BLEU-4 为 0.316,CIDEr 为 0.322,这是我们比较的方法中最好的分数。在 IU X-Ray 上,它的 BLEU-4 为 0.201,CIDEr 为 0.724,在每个标准 NLG 指标的每个基线上均领先。我们使用 RadGraph F1、CheXbert F1 和幻觉分析进一步评估 CogRad,以评估超出标准文本重叠指标的临床准确性,并辅以消融研究和基于 Grad-CAM 的可视化,这些可视化描述了每个代理的贡献和模型的视觉定位依据。