无处可藏：通过背景控制对对视频幻觉进行基准测试

我们推出了 VidPair-Halluc，这是一种在严格受控条件下评估大型视频模型 (LVM) 中视频幻觉的新基准。与之前主要依赖基于文本的扰动或对抗性问题而忽略视觉背景一致性的基准不同，VidPair-Halluc 的特点是视频对具有高度相似的背景但前景语义明显不同，从而能够将模型错误精确归因于真正的幻觉而不是背景变化。该基准是通过 PairFlow 构建的，PairFlow 是一个管道，利用文本到图像和视频生成方面的最新进展来系统地撰写故事，生成连贯的视频剪辑，并将它们组装成对抗对。 VidPair-Halluc 涵盖十个语义方面的空间和时间推理，包括 1K 高质量对抗视频对和 11K 时空 QA 对，可控制背景和前景变化。对主流 LVM 的评估显示，在对抗性设置中，鲁棒的细粒度视频理解仍然存在困难，代码和数据可在 https://jethrojames.github.io/VidPair-Halluc/ 上找到。