通过反证据验证医学 VLM 中的幻觉检测和纠正

视觉语言模型（VLM）在医学诊断中的可靠性受到破坏信任的幻觉的挑战。现有的幻觉检测方法主要集中于识别生成的文本和参考数据之间的事实不一致。虽然一些研究分析了模型在图像中的参与位置，但他们很少验证这种关注是否真正反映了支持生成文本的视觉证据。为了解决这一差距，我们提出了反证据验证（CoEV），这是一种 无需训练 即插即用框架，可通过基于证据的事实一致性验证来检测和纠正幻觉。 CoEV 在文本断言和视觉证据之间进行双向验证，测试每个陈述是否得到其相应证据区域的支持，并将每个陈述分配到捕获文本事实性和视觉证据关联的组合的四象限诊断图。 CoEV 可检测幻觉内容并作为事后细化工具，无需重新训练即可纠正幻觉。对四个医学数据集的大量实验表明，CoEV 可以对抗 VLM 中的幻觉。对于幻觉检测，CoEV 始终优于现有方法，将平均 PR-AUC 和 ROC-AUC 分别提高了 3.0% 和 3.9% 绝对值，在特定 VQA 场景中显着提升高达 18.5%。在幻觉校正方面，它将 Micro-F1 提高了 12.5%，将医疗报告生成中的幻觉率降低了 11.9% 以上，并提高了医疗 VQA 的准确性。这些结果表明，CoEV 能够可靠地检测和纠正幻觉，为临床医生提供可靠的、基于证据的诊断线索。代码将在接受后发布。