减轻大视觉语言模型中的纠缠转向以减少幻觉

大视觉语言模型（LVLM）在跨模式任务中取得了显着的成功，但仍然受到幻觉的阻碍，产生与视觉内容不一致的文本输出。现有的方法可以减轻幻觉，但通常会改变生成行为，导致输出更短和词元分布发生变化，特别是在潜在空间引导方法中。我们发现这个问题源于纠缠的转向信号，抑制幻觉无意中破坏了模型的内在生成行为。为了解决这个问题，我们提出了 MESA，这是一种有效的即插即用框架，可以执行受控和选择性的潜在干预来缓解幻觉。具体来说，MESA 针对与幻觉相关的响应，同时保留模型的原始词元分布，从而在不影响生成行为的情况下有效减少幻觉。跨不同生成和判别基准的广泛实验表明，MESA 持续减少幻觉，同时更好地保留生成行为，优于多个 LVLM 系列的先前方法。