具有代理推理和时间基础的开放式视频游戏故障检测

开放式视频游戏故障检测旨在识别游戏视频中的故障，用自然语言描述它们，并在故障发生时进行本地化。传统的游戏故障理解任务主要被定义为图像级识别或封闭式问答，与此不同的是，该任务需要直接在连续的游戏视频上推理特定于游戏的动态，例如机制、物理、渲染、动画和预期状态转换，并将真正的故障与异常但有效的游戏内事件区分开来。为了支持这项任务，我们引入了 VideoGlitchBench，这是第一个具有时间定位功能的开放式视频游戏故障检测基准。 VideoGlitchBench 包含来自 120 个游戏的 5,238 个游戏视频，每个视频都附有详细的故障描述和精确的时间跨度，从而能够对语义理解和时间基础进行统一评估。我们进一步提出了 GliDe，一个具有三个关键组件的代理框架：用于知情推理的游戏感知上下文记忆、用于多视角故障检测和验证的基于辩论的反射器，以及从碎片时间证据中恢复完整故障间隔的事件级基础模块。我们还设计了一个特定于任务的评估协议，联合测量语义保真度和时间准确性。实验表明，这项任务对于当前的多模态模型来说仍然极具挑战性，而 GliDe 的性能比相应的普通模型基线要强得多。