论文

REVEAL:用于长视频问答中显式证据充分性验证的Rubric引导代理

REVEAL: A Rubric-Guided Agent for Explicit Evidence Sufficiency Verificationin Long-Video Question Answering

上下文与知识检索增强

摘要

最近,检索增强和记忆增强方法已成为长视频问答的两种有前途的范例。然而,现有的方法通常依赖于严格的、固定长度的时间分块(例如 10 秒)和静态离线存储库,这不仅会分割连贯的连续事件,而且在实时推理过程中也无法适应。此外,无论是使用多尺度摘要还是多模态知识图,当前的方法都优先考虑检索相关性,而忽视证据充分性,一旦检索到语义相关的线索,通常就会停止回答,即使关键的时间、因果或细粒度的行动证据仍然缺失。为了应对这些挑战,我们提出了 REVEAL,一个以标题为指导的代理框架。作为基础,我们引入了一种基于自适应视觉相似性的预处理管道,它将视觉上相干的相邻帧分组为自然事件单元,以构建离线在线视频记忆——离线捕获全局视频上下文,同时在线动态维护问题条件记忆。基于这种结构化记忆,REVEAL 使用自动构建的标题库来明确验证检索到的证据是否满足充分性标准,在验证失败时查明丢失的线索,并指导有针对性地重新检索补充信息。无需任何额外的训练,REVEAL 在广泛的实验中始终优于闭源和开源的最先进方法。这些结果表明,明确验证证据充分性,而不是停留在语义相关性上,可以检索先前方法遗漏的决定性线索,并产生更可靠的长视频推理。