不是盲目而是沉默：通过对抗性反常识平衡重新平衡视觉和语言

在 MLLM 解码过程中，注意力通常异常集中在不相关的图像标记上。虽然现有研究将其视为无效噪音，并强行将注意力转移到关键图像信息上，但我们认为这些标记是视觉和叙事逻辑的关键载体，而这种强制性纠正加剧了视觉语言的不平衡。采用“解码即游戏”的视角，我们揭示了幻觉源于语言先验和视觉信息之间的平衡不平衡。我们提出对抗性反常识均衡（ACE），这是一个 无需训练 框架，它通过反常识补丁扰乱视觉上下文。利用真实视觉特征在扰动下保持稳定而幻觉波动的事实，ACE 实现了动态游戏解码策略。这种方法精确地抑制了对扰动敏感的先验，同时补偿稳定的视觉信号以恢复平衡。大量实验表明，ACE 作为一种即插即用策略，能够以可忽略的推理开销增强模型的可信度。