论文

RIDGE:用于长视频理解的区域通知导数引导证据选择

RIDGE: Region-Informed Derivative-Guided Evidence Selection for Long Video Understanding

上下文与知识上下文工程

摘要

长视频包含的视觉内容远多于大型视觉语言模型 (LVLM) 在固定视觉 词元预算 下可以处理的内容,因此帧选择至关重要。现有的查询感知选择器通常估计帧查询相关性并从高分帧构建紧凑子集。尽管它们的机制不同,但相似性序列仍然通常主要被视为排序或采样的值,而不是其形状反映查询相关证据如何随时间出现、达到峰值和消失的有序信号。这可能会模糊解释、背景化或跟踪事件的框架,因为此类证据可能位于附近相关性峰值的上升或下降一侧,并获得较低的绝对分数。我们提出了 RIDGE,一种帧选择框架,它将帧查询相似性曲线读取为时间信号。通过使用局部变化和曲率,RIDGE 将时间线划分为结构区域,并应用特定于区域的选择,以在固定预算下保留事件核心、过渡、构建、后果和上下文框架。它是对预先计算的帧查询分数的轻量级后处理步骤,既不需要训练也不需要迭代 LVLM 调用。在四个长视频基准测试和三个骨干网中,RIDGE 在大多数设置中实现了最佳性能,并在其他设置中保持竞争力。