捕捉视频中的幻觉引文-LLM 问答：自我验证管道和验证者消融研究

即使在引用的框架不支持的情况下，基于视觉语言模型构建的视频问答系统通常也会以高置信度生成带时间戳的声明。这种欺骗性的幻觉之所以出现，是因为时间戳意味着视频证据对齐，但无法确保正确性，增加了用户信任，但没有提高准确性。我们引入了一个闭环的管道。检索增强的语言模型会根据每个声明的时间戳引用起草答案，并且每个引用的框架在显示给用户之前都会经过独立的重新检查。我们与普通基线进行比较，并消除了三种验证设计，并在 Apple Silicon (MLX) 和 Google Colab（HF Transformer、CUDA）上进行评估。由于阿谀奉承，直接询问视觉模型某个框架是否支持某个主张完全失败（40 个主张的捕获率为 0%）。盲重字幕加上一般的 LLM 判断可以改善结果，但不稳定，根据提示措辞在 0% 和 100% 标记之间振荡。用小型自然语言推理模型替换该判断器会产生一个稳定的、可解释的验证器，该验证器可以捕获对抗性错误前提问题上 79% 的捏造声明，同时保持真实声明不变。我们发布了 Apple Silicon 和 Colab 的完整流程、评估工具和实现。代码可在 https://github.com/yogesh-iitj/grounded-video-qa 获取。