论文

消除病态捷径:忠实 LVLM 解码的因果框架

Dismantling Pathological Shortcuts: A Causal Framework for Faithful LVLM Decoding

模型推理解码与生成控制

摘要

大视觉语言模型 (LVLM) 表现出复杂的推理能力,但仍然容易产生物体幻觉。与普遍的注意力强度假设不同,我们揭示了更深层次的动态结构失调:幻觉是在关键决策步骤中触发的,其中特定的注意力头充当风险中介,与视觉证据脱钩以锁定语言先验。这建立了一条绕过视觉证据依赖的病态捷径。为了解决这个问题,我们提出了 Fox(忠实性 和通过表达校正的观察流),一个 无需训练 推理时间框架。福克斯使用视觉注意力熵探针来诊断结构失调,以在无人监督的情况下定位危险的中介。然后,我们通过数值 logits 饱和度执行有针对性的因果干预,以物理方式切断捷径。最后,冲突门控协作解码策略使干预性 忠实性 与观察流畅性相协调。大量实验表明,Fox 实现了 SOTA 性能,比 SID 高出 29.1%,同时保留了语言的丰富性。代码可在 https://github.com/Cc2021start/Fox 获取。