ReTool-Video：具有元增强工具基础的递归工具使用视频代理

视频理解需要主动寻找证据，激励工具增强视频代理进行时间推理、跨模式理解和复杂问题回答。现有的视频代理通过检索、记忆、帧检查和验证器工具改进了视频推理，但它们仍然面临两个限制：（1）粗糙的工具空间，缺乏用于组合推理的细粒度操作； (2) 平坦的动作空间，将高级视频意图强制转换为原始可执行工具调用。在本文中，我们通过两种互补的设计来应对这些挑战。首先，我们构建了一个 MetaAug-Video 工具库（MVTL），这是一个可扩展的工具库，拥有 134 个注册工具，其中包括 26 个用于通用多模态信号处理的基本工具和 108 个用于过滤、聚合、重新排序、格式化和其他中间结果操作的元工具。 MVTL支持对结构化视频信息和原始模态证据的双层访问，从而实现多样化的视频推理场景。其次，我们提出了 ReTool-Video，一种递归工具使用方法，将高级视频意图融入可执行工具链中。在ReTool-Video中，匹配的动作直接执行，而不匹配的意图则委托给解析器进行参数修复、工具替换或分解。这允许诸如时间合并、跨模式验证或重复事件聚合之类的抽象操作在运行时逐步转换为具体的多模式操作。在 MVBench、MLVU 和 Video-MME（不带子系统）上进行实验。表明 ReTool-Video 始终优于强大的基线。进一步的分析表明，递归基础和细粒度元工具提高了复杂视频理解的稳定性和有效性。