相同的注意力，不同的真相：将 logits-Lens 置于视觉注意力之上，以检测和减轻 LVLM 物体幻觉

大视觉语言模型 (LVLM) 经常会产生物体幻觉，生成图像中不存在的物体。之前的工作很大程度上将其归因于视觉注意力不足。然而，我们发现真实和幻觉的物体在模型的中后期层都受到同样强烈的视觉关注，这表明关键问题可能不是模型关注的程度，而是它关注的内容和原因。为此，我们使用 logits Lens 解码高关注区域的视觉特征，并观察到与真实物体相对应的区域可以正确解码为目标物体标记，而与幻觉物体相对应的区域则不能。在此基础上，我们确定了两种幻觉机制：（i）视觉不确定性，由语义相似或易混淆的区域触发；掩盖这些区域可以消除幻觉。 (ii) 上下文先验，由强共现先验触发；即使最初关注的区域被掩盖，幻觉仍然存在并且注意力会转移到其他区域。基于这些发现，我们提出了一个简单而有效的 无需训练 检测缓解框架，包括用于检测幻觉和有针对性的补救措施的 logits 镜头一致性检查：用于视觉不确定性幻觉的高注意区域掩蔽 (HARM) 和用于上下文先验幻觉的视觉证据增强解码 (VEED)。我们的方法在多个幻觉基准上取得了最先进的结果。代码将可用。