视觉语言模型中针对幻觉的在线自我校准

大视觉语言模型 (LVLM) 经常会产生幻觉，生成的描述包括输入图像中缺少的视觉细节。最近的偏好调整方法通常依赖于从 GPT 等更强大的模型中提取的监督。然而，这种离线范式引入了监督-感知不匹配：学生模型被迫与超出其感知能力的细粒度细节保持一致，学习猜测而不是观察。为了获得在线学习的可靠自我监督，我们确定了 LVLM 中的生成判别差距，其中模型在判别验证方面表现出比开放式生成更高的准确性。利用这一功能，我们提出了 \textbf{O}nline \textbf{S}elf-\textbf{CA}lib\textbf{R}ation (OSCAR)，这是一个将蒙特卡罗树搜索与双粒度奖励机制集成的框架，用于构建偏好数据并通过直接偏好优化迭代地细化模型。大量实验表明，OSCAR 在幻觉基准上实现了最先进的性能，同时提高了一般多模式能力。