通过阶段性自我奖励减轻多模态幻觉

大视觉语言模型（LVLM）仍然与幻视作斗争，其中生成的响应与视觉输入不一致。现有方法要么依赖于 微调 的大规模注释数据，这会产生大量的计算开销，要么采用静态事后策略，忽略幻觉出现的动态本质。为了解决这些问题，我们引入了一种新的自我奖励框架，无需外部监督即可在推理时动态缓解幻觉。在经验方面，我们揭示视幻觉表现出阶段性的动态模式，在每个语义阶段的开始时达到顶峰。利用这些见解，我们提出 \textbf{PSRD} （\textbf{Phase-wise \textbf{S}elf-\textbf{R}eward \textbf{D}ecoding），用于由相位自我奖励信号引导的在线幻觉校正。为了减少解码过程中重复自我评估的成本，我们将 LVLM 中的幻觉引导信号提炼成轻量级奖励模型。奖励模型随后为解码过程中的有针对性的干预提供即时指导，从而实现精确的幻觉抑制。所提出的 PSRD 将 LLaVA-1.5-7B 的幻觉率显着降低了 50.0%，并且在四个 LVLM 的五个幻觉评估基准中始终优于现有的事后方法。进一步分析证实，PSRD 有效缓解了幻觉传播，并在强大的性能和推理效率之间实现了高度可控的权衡。