ReportQA：基于 QA 的放射学报告评估

放射学报告评估对于推进自动化报告生成至关重要。自然语言生成指标的临床相关性有限。临床疗效 (CE) 指标评估重要的医学发现，但主要关注存在性并仅涵盖有限的一组实体。由于严重依赖手动注释，CE指标很难扩展临床实体或属性。在临床实践中，放射学报告充当信息传递的媒介。临床医生使用它们来执行下游诊断任务，而无需直接检查图像。基于这一见解，我们提出了ReportQA，一种与临床相关且灵活的放射学报告评估框架，支持放射学报告生成系统的详细定量分析。我们首先收集涵盖多种成像模式和解剖区域的数据集。然后，我们在放射科医生的指导下构建临床实体和属性的知识树，并使用 大语言模型 (LLM) 从原始报告中提取结构化信息。接下来，我们从预定义的模板生成 QA 对，并通过自我过滤和基于报告的过滤应用质量控制。在评估过程中，报告被视为上下文，LLM 充当判断模型来回答 QA 对。根据由此产生的 QA 准确性，我们引入了 QAScore 指标。与现有指标相比，QAScore 更符合放射科医生的判断。对多种最先进的视觉语言模型的实验表明，当前基于报告的推理范式很难学习细粒度的临床表征，并表现出强烈的负面先验偏差。相比之下，问题驱动推理提供了更有效的替代方案。为了可重复性和可扩展性，我们发布了知识树、结构化报告和 QA 对，以及用于 QA 构建和评估的管道代码。