论文
证据属实却张冠李戴:临床RAG的实体归因错误
Deceptive Grounding: Entity Attribution Failure in Clinical Retrieval-Augmented Generation
摘要
检索增强生成的常见评估检查模型主张是否基于检索文档,却不核对证据是否归属于正确实体。临床RAG回答可能通过全部自动检查,仍把药物Y的临床证据当成药物X的证据。论文将这一现象称为Deceptive Grounding:每项主张都有真实文档出处,但证据指向错误实体。13个模型的受控析因评测中,最强对抗条件下的错误率为8%—87%;医学或生物医学微调模型最高达86.7%,领域专业化未缓解该问题。消融实验移除检索文档中实体特定的临床证据后,实体归因错误消失,但错误转为无依据的编造,说明两种失败路径受同一触发条件影响。对已部署RAG系统的740个药物—疾病组合进行测量,总体实体归因错误率为7.8%,近期获批药物为13.6%。核对引用证据是否适用于查询实体的方法,在经逆概率加权调整的人工标准标注上达到97.0%的精确率和98.7%的召回率;论文指出现有框架尚未实现该检查。