用于 VLM 幻觉抑制的维纳表示滤波

视觉语言模型 (VLM) 擅长开放式字幕和视觉 QA，但通常描述图像中缺少的对象、属性或关系，这种现象称为对象幻觉。我们提出了一种在语言主干的表示空间中运行的{无需训练，事后表示编辑技术}。该方法对适度的配对数据集执行轻量级的一次性离线校准，以估计所需的协方差结构，仅使用前向传递和经验二阶统计量，没有梯度更新或 微调，之后校正被直接吸收到模型的现有权重中。通过将隐藏状态建模为真实和幻觉相关分量的叠加，我们得出了维纳型估计器，其最佳增益由成对的真实和幻觉表示的协方差以封闭形式给出。特征分解产生符合稳定性标准的模式衰减，即滤波器连续响应估计噪声。对选定的更深层的前馈输出投影应用一次校正，在推理时，模型以相同的速度运行不变。 LLaVA-1.5、MiniGPT-4、Gemma3 和 mPLUG-Owl2 上的实验表明，CHAIR、POPE 和 MME 上的物体幻觉持续减少，同时保持字幕流畅性和整体响应质量。我们进一步证明了我们的方法在 TempCompass 视频理解基准和用于基础对话的离散扩散语言模型上的通用性，表明即使在时间视频推理和多步骤、序列范围的去噪设置中，表示过滤也能减少幻觉。