用于部分相关视频检索的 CLIP 内在时间适应

部分相关视频检索 (PRVR) 旨在检索包含与文本查询相关的时刻的未修剪视频。由于目标时刻仅占据视频的一部分，PRVR 需要基于细粒度理解的检索，而不仅仅是粗略的视频级匹配。然而，现有方法通常依赖于冻结的 CLIP 帧特征，而缺乏时间理解。即使最近在参数高效的 CLIP 自适应方面取得了进展，视频级预测仍然可以得到不精确的帧级证据的支持。在本文中，我们提出了 PRVR 的内在时间适应（ITA）框架。首先，我们的骨干内部时间适应允许最后几个视觉 Transformer 层参与相邻帧组。这提供了时间感知的帧嵌入，同时保持 CLIP 冻结并仅训练适应参数。其次，我们引入亲和权重梯度传播来解决 PR​​VR 的弱监督性质，根据文本帧亲和力软聚合 top-$k$ 帧，并将学习信号传播到多个查询相关帧。我们的方法在 PRVR 基准上实现了最先进的性能，展示了强大的跨数据集传输，并在 真值 查询相关时刻内检索了更加准确的帧级证据。我们的代码可在 github.com/hynnsk/ITA 获取。