通过反事实视觉证据依赖分析检测LVLM临床幻觉

大型视觉语言模型（LVLM）越来越多地用于临床图像理解，但它们仍然容易受到\emph{幻觉}的影响——产生图像不支持的文本发现或属性。我们提出了一种视觉可追踪的幻觉检测框架，该框架通过视觉证据定位核验任意 LVLM 响应，既不需要修改也不需要内部访问 LVLM 的隐藏状态。给定 LVLM 响应，我们提取视觉上可验证的实体，并使用适应医学领域的 Qwen-VL 定位验证器来定位输入图像上的每个实体。为了增强我们的检测方法的稳健性，我们引入了反事实实体扰动方法，并通过对比事实和反事实的基础结果来估计视觉证据的不确定性。具体来说，我们根据正置信度、反事实置信度及其二元幻觉决策的基础重叠来计算实体级不确定性得分。对多种医学成像模式和 LVLM 主干的实验表明，我们的方法在最近的基线上持续提高了幻觉检测性能，同时提供可解释的定位证据和强大的跨模型可转移性。代码和数据集可在 https://github.com/Agentic-CliniAI/CounterVHD 获取。