EviAnchor：通过区域视觉证据补偿缓解大型视觉语言模型幻觉

大型视觉语言模型 (LVLM) 经常生成不受视觉输入支持的内容。初步实验表明，视觉证据主要被纳入早期到中期解码器层的答案侧表示中，而其直接影响在后面的层中逐渐减弱。这种衰减表明，早期获得的视觉证据可能在下一代中没有得到充分利用。基于这一观察，我们提出了 EviAnchor，这是一种免训练的单分支推理框架，可以在整个生成过程中保留和重新激活视觉证据。 EviAnchor 引入了区域证据锚点 (REA) 插槽，以逐步将密集的视觉标记聚合成空间结构化表示。然后，它通过决策条件证据路由来加强当前决策状态对这些视觉锚点的访问，从而减轻对文本上下文的过度依赖。最后，模型恢复其原生 Transformer 计算，将检索到的视觉证据与问题语义和生成历史集成。 POPE、CHAIR 和 MMHal-Bench 的实验证明了视觉基础的持续改善。