查看前路由：用于长格式视频理解的查询自适应证据获取

由于查询需求和证据获取策略之间的不匹配，长格式视频理解对于视频代理来说仍然具有挑战性。尽管最近的感知前规划方法优于与查询无关的管道，但它们通常依赖于单一的主导策略，无论是基于生成的策略还是基于检索的策略，限制了它们处理不同查询需求的能力。我们提出了 Route2Look，这是一种轻量级且与模型无关的框架，用于长格式视频理解中的查询自适应证据获取。 Route2Look 使用三个工具在“Route-Look-Memorize”循环中运行：用于整体上下文的“全局浏览”、用于显式时间线索的“时间基础”以及用于语义搜索的“语义检索”。核心组件是根据查询动态选择证据获取工具的路由策略。为了构建此策略，Route2Look 采用了两阶段设计：首先从基于生成的轨迹和基于检索的轨迹之间的差异对比分析中提取路由技能，然后在推理过程中将提取的技能与硬路由规则和继续或停止标准一起应用。在具有挑战性的长视频基准测试上进行的实验表明，Route2Look 实现了最先进的性能，同时在数据集和查询类型上保持了强大的帧效率。 Oracle 路由分析进一步揭示了查询自适应证据获取对于未来长格式视频理解的潜力。