论文
TempRet：CVPR 2026 EPIC-KITCHENS-100 多实例检索挑战的时间增强和两阶段重新排名
TempRet: Temporal Enhancement and Two-Stage Reranking for CVPR 2026 EPIC-KITCHENS-100 Multi-Instance Retrieval Challenge
摘要
在大规模视觉语言预训练的推动下，视频文本检索取得了显着的进步，但大多数现有方法继承了图像文本检索的隐含假设：可以逐帧捕获视觉语义。这种假设忽视了以自我为中心的视频的时间动态。 EPIC-KITCHENS-100 多实例检索 (MIR) 挑战通过提供软标签相关性矩阵而不是二进制标签，进一步提高了门槛，要求模型能够解决跨模态的分级语义对应关系。在本报告中，我们针对 CVPR 2026 EPIC-KITCHENS-100 MIR 挑战提出了名为 TempRet 的解决方案。我们的方法建立在基于 CLIP 的双编码器主干之上，并引入了两个关键组件来解决时间和跨模式挑战。首先，时间 Transformer 专门在视频端运行，通过可学习的位置编码和帧级 CLIP 特征的多头自注意力来建模帧间依赖性。其次，两阶段重新排名管道首先通过双编码器检索 Top-K 候选者，然后使用配备图像文本匹配 (ITM) 头的交叉编码器细化其分数。整个系统经过对称多重相似性损失的训练，以利用挑战提供的软标签相关性矩阵。我们的方法在 EK-100 MIR 基准上实现了 67.97% 的平均 mAP 和 82.92% 的平均 nDCG，证明了时间建模和跨模式细化对于以自我为中心的视频检索的有效性。