论文
SUTURE:用轨迹组结构验证改进视频时序定位
Beyond Scalar IoU: Structured Verification from Rollout Groups for Video Temporal Grounding
摘要
具有可验证奖励的强化学习(RLVR)提供了一个自然的框架,用于使预训练模型适应视频时间基础,其中生成的时间间隔可以直接根据地面真实间隔进行评分。然而,现有的重叠验证器通常对每个 执行轨迹 进行独立评分,而未使用 执行轨迹 组的联合结构。我们引入了 SUTURE,它将验证置于 执行轨迹 组上,并在两个互补的尺度上利用其结构:执行轨迹 之间的分歧控制目标重新加权的强度,而每个位置的覆盖范围决定奖励质量的重新分配。我们表明,生成的验证器承认对标准 IoU 项的精确分解以及由 执行轨迹 组确定的协方差校正。本地梯度诊断发现对覆盖分析组中支持相对较少的目标区域的响应的偏好。在五个时间接地基准中,SUTURE 提高了每个报告的 IoU 阈值的接地性能。其经过训练的策略在推理轨迹中也显示出较少的视频开始锚定:对于后来的事件,第一次时间提及通常与带标注的目标重叠。总之,这些结果表明 执行轨迹 组的联合结构可以支持信息更丰富的时间验证器。
