将查询分解为工具调用以进行长视频关键帧检索

关键帧选择是为长视频问答（QA）提供可验证的视觉证据的直接方法。查询的要求不同，找到正确的框架取决于知道要寻找什么。现有的关键帧选择器要么针对单个查询对每个帧进行评分，要么将查询分解为由单个可视化工具评估的固定模式。我们提出了 ToolMerge，一种基于分解和合并的关键帧检索方法：基于 大语言模型 (LLM) 的规划器将查询分解为工具调用，并指定如何使用布尔运算符合并每个工具的排名。为了直接评估检索，我们构建了 Molmo-2 Moments (M2M)，这是一个基准，其中每个问题都通过构建锚定到特定的时间间隔。在 QA、问题检索和标题检索方面，ToolMerge 与之前的关键帧选择器相比具有竞争力，尤其是在标题检索方面，比其他方法高出 5%。代码和数据可以在 https://github.com/michalsr/ToolMerge 找到。