扰动解码：通过动态文本扰动减轻 MLLM 幻觉

多模态 大语言模型 经常出现推理幻觉，部分原因是语言先验主导了视觉证据。现有的 无需训练 缓解方法要么扰乱视觉表示并偏离自然图像分布，要么强制执行损害模型固有生成流畅性的侵入性操作。我们引入了一种新颖的观点，即多模态幻觉表现为解码阶段视觉基础对文本措辞的超敏感。基于这一见解，我们提出了扰动解码（DeP），这是一个 无需训练 框架，通过受控的文本干预来减轻先验诱发的幻觉。 DeP 采用动态探针，应用多级文本扰动来引出潜在的语言先验。利用注意力方差，它增强了稳定的证据区域，同时抑制了特征空间中的可疑噪声。此外，它使用 logits 统计数据构建可解释的先验漂移方向，以抵消文本共现的概率偏差。大量实验证实 DeP 可以有效减少幻觉，并在多个基准测试中实现卓越的性能。