论文

当协同头脑中的信息分布发生漂移时,MLLM 会产生幻觉

MLLMs Hallucinate when Information Distribution Drifts in Synergy Heads

模型推理推理验证与自校正

摘要

多模态 大语言模型 (MLLM) 经常与幻觉作斗争,从而阻碍了其可靠的实际应用。现有的基于注意力的缓解方法主要依赖于间接信号(例如注意力权重),无法准确反映幻觉生成背后的实际信息转移。在本文中,我们提出了 HEAL、头部信息分离和校准来识别和减轻幻觉。 HEAL 首先对多头输出采用因果噪声干预来过滤掉因果冗余头。随后,它通过反事实的双重差异来理清剩余头部内的信息分布,将头部分为四种类型。通过分析,我们观察到:当信息分布偏离协同头的健康平衡时,就会产生幻觉,而与特定模态头的数量或强度没有很强的相关性。受这种洞察力的启发,HEAL 将动态信息校准因子注入协同头的价值向量中,并主动调节视觉语言依赖性,将输出分布转向事实证据。大量实验表明,HEAL 可以有效减少多个 MLLM 的幻觉,提供简单且可解释的途径来增强模型的可信度。