论文
在不降低性能的情况下减轻大视觉语言模型中的幻觉
Mitigating Hallucinations in Large Vision-Language Models without Performance Degradation
摘要
大型视觉语言模型 (LVLM) 表现出强大的生成能力，但经常产生影响输出可靠性的幻觉。 微调 对没有幻觉的注释数据提供了最直接的解决方案，而其高计算成本激发了最近基于表示的方法，这些方法专注于减轻隐藏表示中的幻觉成分。尽管有效，但我们凭经验观察到，由于幻觉成分提取不完整和非选择性参数更新，这些方法降低了总体生成能力。为了解决这些限制，我们提出了 MPD，这是一种双阶段框架，用于在不降低性能的情况下减轻幻觉。具体来说，我们的 MPD 依赖于两个基本因素：（1）语义感知组件解缠以提取纯粹的幻觉组件，以及（2）可解释的参数更新，有选择地修改与幻觉最相关的参数。大量实验表明，MPD 实现了最先进的性能，将幻觉减少了 23.4%，同时保持了 LLaVA-Bench 和 MME 上评估的 97.4% 的一般生成能力，且无需额外的计算成本。