VideoSearch-R1：通过软查询细化进行迭代视频检索和推理

随着视频语料库的规模和任务复杂性不断扩大，对从大规模语料库中检索相关视频（视频间推理）并随后在检索到的内容中执行细粒度、查询条件任务（视频内推理）的方法的需求不断增加，例如时序定位。然而，现有方法通常将检索视为预处理步骤，因此，当初始检索失败时，没有机制来细化搜索，导致后续细粒度视频内推理失败。此外，虽然最近的代理框架具有先进的视频理解能力，但它们通常假设已经给出了与查询相关的视频，专门关注视频内推理任务。为了解决这些限制，我们提出了 VideoSearch-R1，这是一种通过与视频搜索引擎多轮交互进行迭代视频检索和推理的代理框架。具体来说，我们引入软查询细化（SQR）来细化连续潜在空间中的搜索查询标记，而不是在离散文本空间中重写查询，从而实现更高效和更细粒度的调整。 SQR 及其推理过程使用组相对策略优化 (GRPO) 进行训练，并以从检索和下游任务派生的任务级奖励信号为指导。在此基础上，VideoSearch-R1 在视频语料库时刻检索 (VCMR) 的三个数据集上实现了最先进的性能，从大规模语料库中迭代检索视频，细化搜索查询，并在检索的内容中执行精确的查询条件时序定位。我们的分析表明，SQR 有效地细化了原始查询，与显式文本级查询细化相比，所需的生成标记要少得多。代码和模型检查点可在 mlvlab.github.io/VideoSearch-R1 上公开获取。