论文
GOPAgen:具有结构化内存的编解码器感知代理长视频理解
GOPAgen: Codec-Aware Agentic Long-Video Understanding with Structured Memory
摘要
代理长视频问答通常依赖于稀疏 RGB 采样和字幕检索。这种依赖可能会导致错过短暂的运动事件和重复处理不相关的间隔。我们引入了 GOPAgen,这是一个将编解码器本机图片组 (GOP) 和运动向量集成到代理检索管道中的框架。 GOPAgen 构建全局文本记忆并使用两阶段查询条件时间选择。在提取局部证据之前先进行全局充分性检查。字幕和运动代理将选定的间隔表示为包含互补外观和运动证据、时间元数据和出处的打字内存页面。当全局证据不足时,GOP 树会组织这些页面以进行条件检索。 GOPAgen 在 MotionBench Test 上实现了 65.3% 的准确度,在 EgoSchema 上实现了 78.7% 的准确度,超过了为这些基准列出的报告的代理基线。它还在 LongVideoBench 验证上达到 73.2%,在 MLVU 上达到 77.3%,同时仍低于 LVBench 和 Video-MME Long 列出的最强基线。这些结果支持编解码器感知结构化内存作为选择性长视频推理的有效接口。