论文
ReCoVR:交互式合成视频检索的闭环
ReCoVR: Closing the Loop in Interactive Composed Video Retrieval
摘要
组合视频检索(CoVR)使用参考视频和修改文本来搜索目标视频,但现有方法仅限于单轮交互,无法支持现实世界视觉搜索的渐进性。为了弥补这一差距,我们首先将交互式组合视频检索形式化,这是 CoVR 的多回合扩展,用户可以通过跨回合的自然语言反馈逐步完善他们的搜索意图。使现有的交互式检索方法适应这种设置揭示了两个结构性弱点:依赖单一检索通道和开环检索设计,该设计消耗用户反馈但无法诊断其自身的检索轨迹是漂移还是停滞。为了解决这些限制,我们提出了 ReCoVR(反射合成视频检索),这是一种基于反射感知的双路径架构,系统将其检索历史与用户反馈一起视为诊断证据。具体来说,意图路径将异构反馈路由到互补的检索通道,而反射路径执行轨迹级反射以监控结果演变并纠正各个回合的检索错误。多个基准的实验表明,ReCoVR 始终优于交互式基线,特别是在 WebVid-CoVR-Test 数据集上仅进行一轮交互后就达到了 74.30% R@1。