论文
MonteRET:AI 代理通过多粒度知识检索增强多模态 LLM,用于生成胸部 CT 报告
MonteRET: AI Agent Enhancing Multimodal LLMs with Multi-granularity Knowledge Retrieval for Chest CT Report Generation
摘要
自动生成胸部 CT 报告仍然具有挑战性,因为临床忠实的报告需要对整体体积的理解和对局部解剖结果的准确描述。在这里,我们开发并回顾性评估了 MonteRET,这是一种用于生成胸部 CT 结果切片的区域感知检索增强框架。 MonteRET 将全局 CT 特征与区域级解剖表示相结合,使用预测的医疗状况和区域级视觉语言对齐检索临床相关知识,并通过知识引导的报告重写代理完善初始报告。我们在公共队列中训练了我们的模型,其中包含来自 RadGenome-ChestCT 的 24,128 张 CT 扫描。我们在公共 RadGenome-ChestCT 测试集(包含 1,564 幅 CT 扫描)和来自纽约长老会/威尔康奈尔医学中心的 82 幅 CT 扫描的外部队列上评估了 MonteRET。与匹配的基线和几种最先进的方法相比,MonteRET 提高了报告质量、语义相似性和临床疗效。召回率的提高最为明显,表明遗漏的发现较少。放射科住院医师的人类专家评估也青睐 MonteRET。