论文

通过放射报告的简单总结提高健康素养:BioNER 和检索增强生成的评估

Improving Health Literacy through Lay Summarization of Radiological Reports: An Evaluation of BioNER and Retrieval-Augmented Generation

模型评测模型能力评测

摘要

放射学报告主要是为临床医生编写的,其专业术语通常使患者难以理解。因此,尽管存在事实不准确和幻觉的风险,许多患者还是求助于公开的 大语言模型 (LLM) 来帮助解释他们的报告。自动平铺摘要生成已成为一种有前途的替代方案,但用于放射学特定通信的检索增强和临床知情方法的有效性仍未得到充分探索。本研究调查了与基于 LLM 的标准生成相比,检索增强生成 (RAG) 和命名实体识别 (NER) 在多大程度上提高了自动生成的外行摘要的质量、事实一致性和可读性。我们开发了一个框架,将基于 NER 的临床相关发现提取与用于上下文基础的 RAG 机制相结合,并在两个模型(Qwen、BioBART)的少数样本和微调变体中进行评估。结果表明,NER 持续提高了可读性和整体质量,而单独的 RAG 没有任何好处,并且可能会因不相关的检索术语而产生幻觉。将 RAG 与 NER 结合起来会降低少量设置中的性能,但在微调时会提高可读性。使用 NER 进行微调的 BioBART 实现了最佳的整体性能,突出了实体感知提取是改进患者友好型摘要的主要驱动力。