论文

TwinPast以改变历史证据的配对视频检验流式理解

TwinPast: Benchmarking Historical Evidence Use in Streaming Video Understanding with Evidence Contrastive Video Pairs

模型评测上下文与知识上下文工程基准与评测资源

摘要

流式视频基准上的高准确率,并不能证明模型使用了视觉历史。我们对 OVO-Bench 和 StreamingBench 的检查发现,对于抽样历史问题中的 32%,仅靠近期帧就足够作答;模型还可以只根据问题和选项答对不少题。我们提出 TwinPast,使用涵盖五类历史任务的 350 对人工复核视频,测试答案能否随历史证据的变化而正确变化。每对视频固定近期视频上下文、问题及有序选项,仅改变关键历史证据和正确答案。两个视频分别独立评估,PairAcc 要求模型在两种历史下都回答正确。我们评估了 34 种模型与输入配置。对 Qwen3-VL-8B 和 DeepSeek-Flash 而言,历史输入能改善 TwinPast 上的表现,扭转了现有基准上近期帧占优的现象。参评的最强流式系统取得 49.14% 的 PairAcc,而通用模型为 66.57%—91.43%;这一差距存在于全部五类任务中。案例还表明,模型即使保留了相关证据,也可能选择错误时间点的状态,或给出与已记录事件顺序矛盾的答案。这些发现强调,需要把历史记忆和检索与推理连接起来,使推理根据问题中的时间指向和事件关系使用证据。

TwinPast以改变历史证据的配对视频检验流式理解:论文配图
图2:TwinPast任务示例。近期帧完全相同,较早历史不同,因而对同一个问题应给出不同答案。