SoccerNet-FoulRet：检索判罚语义相似的足球犯规视频

摘要

职业足球的裁判决定仍然不一致，因为裁判无法轻易地将有争议的犯规与过去类似的案例进行比较。我们将其视为一个检索问题，并引入 SoccerNet-FoulRet，这是语义犯规检索的第一个基准。给定一个查询犯规，任务是检索过去被判定为相关先例的犯规，无论摄像机角度、球队或外观如何。这与之前的视频到视频检索不同，后者通过视觉相似性或共享事件来匹配剪辑。这里，相关性是通过裁判解释来定义的。我们根据 SoccerNet-MVFoul 数据集构建基准，并评估零样本视频和视觉语言嵌入器的检索能力，以及针对 693 个人工验证的查询和类别相关性标签的特定于任务的微调基线。语义犯规检索仍然具有挑战性。最强的零样本模型在人类验证的先例上实现了 5% HitRate@10 以下，而类别监督微调提高了类别相关性，但仅适度转移到先例检索。我们发布 SoccerNet-FoulRet 将语义犯规检索建立为一个开放问题：https://github.com/SoccerNet/sn-foulret。

SoccerNet-FoulRet：检索判罚语义相似的足球犯规视频：论文原图 — 图 1：裁判记忆库。我们的目标是增加裁判而不是取代他们。自动分类器和生成解释器直接发出结论，但可能会过于自信，甚至产生幻觉。相反，我们的系统会采取新的犯规（左）并检索语义上相似的先例以及过去裁判对其做出的决定（右）。裁判员根据这些先例进行推理并保留最终裁决。我们为这种视频到视频检索任务引入了经过人工验证的基准，并发现现成的零样本视频和视觉语言检索器远远不够，使其成为一个悬而未决的问题。