论文

EviDETR:保留查询相关证据的视频时刻检索

EviDETR: Preserving Query-Relevant Temporal Evidence for Moment Retrieval and Highlight Detection

摘要

联合视频时刻检索和亮点检测需要识别与查询相关的时间段,同时估计剪辑级显着性,但 DETR 样式管道在整个编码、解码和跨任务预测过程中并未明确保留与查询相关的证据。我们提出了 EviDETR,一个由三个组成部分组成的证据保存框架。语义感知特征重新加权(SFR)通过显着性估计和跨模式交互增强查询相关的剪辑表示。时间 Top-2 专家混合 (TTop2MoE) 解码器通过稀疏专家路由执行查询自适应细化。 MR-to-HD (MR2HD) 融合通过置信度加权多尺度聚合将跨度级检索证据转移到剪辑级亮点预测。使用 CLIP+SlowFast 特征,EviDETR 实现了 69.29 R1@0.5、54.77 R1@0.7 和 48.41平均mAP(QVHighlights时刻检索),以及 41.83 HD-mAP 和 68.33 HIT@1。 TACoS 和 Charades-STA 上的出色结果进一步证明了跨数据集可转移性。