MAC-RRG：面向X光放射报告生成的迭代式多Agent协作

摘要

尽管基于LLM和知识图谱增强的放射报告生成（RRG）方法取得了显著进展，现有技术仍存在固有缺陷。仅用LLM的传统模型缺乏结构化医学先验知识，导致频繁的医学幻觉和较低的诊断可解释性。当前知识图谱增强方案采用单源知识的静态单轮知识融合，无法根据生成反馈进行动态知识更新。本文提出一种新颖的面向X光放射报告生成的多Agent协作迭代框架，称为MAC-RRG。受多Agent技术启发，我们的框架构建了基于任务解耦与协同推理的闭环优化范式。具体而言，该框架首先通过视觉编码器和基础LLM从输入X光图像生成初步放射报告。随后，多模态知识图谱（MM-KG）Agent从医学知识图谱中挖掘结构化疾病关联与解剖知识，而辅助知识Agent从公共医学数据库中提取非结构化领域知识。双Agent获取的多源知识被融合并嵌入，以引导LLM迭代地精炼初始报告。在IU X-ray、MIMIC和CheXpert Plus等主流X光RRG数据集上进行的广泛定量与定性实验充分验证了所提方法的优越性。源代码与预训练模型已开源发布。

MAC-RRG：面向X光放射报告生成的迭代式多Agent协作：论文配图 — 图 1：现有 RRG 框架与新提出的多智能体 RRG 模型的比较。(a) 基线式基于 LLM 的医学报告生成范式仅融合从原始 X 光图像提取的视觉特征，未纳入结构化的先验医学知识。(b) 知识图谱增强的基于 LLM 的医学报告生成模型将医学知识图谱编码得到的 KG token 连同视觉 token 一同输入大语言模型。(c) 我们提出了一种新颖的面向 X 光放射报告生成的迭代式多智能体协作框架 MAC-RRG，利用多智能体在初始放射报告上的协同知识挖掘与融合，迭代提升报告质量。