BoxComm：拳击中类别感知评论生成和叙述节奏的基准测试

最近的多模态 大语言模型 (MLLM) 在一般视频理解方面表现出了强大的能力，推动了人们对自动体育评论生成的兴趣日益浓厚。然而，这项任务的现有基准仅关注足球和篮球等团队运动，而完全没有探索格斗运动。值得注意的是，格斗运动提出了独特的挑战：关键动作在几毫秒内展开，具有视觉上微妙但语义上决定性的差异，与团队运动相比，专业评论包含的战术分析比例要高得多。在本文中，我们提出了 BoxComm，这是一个大型数据集，包含 445 个世界拳击锦标赛比赛视频以及来自专业广播的超过 52K 评论句子。我们提出了一种结构化的评论分类法，将每个句子分类为逐场比赛、战术或上下文，为体育评论基准提供第一个类别级注释。在此分类法的基础上，我们引入了两种针对体育评论生成的新颖且互补的评估：（1）类别条件生成，它评估模型是否可以在给定视频上下文的情况下生成指定类型的准确评论； （2）评论节奏评估，衡量自由生成的评论是否在连续视频片段上表现出适当的时间节奏和类型分布，捕获先前基准尚未解决的评论能力维度。对多个最先进的 MLLM 进行的实验表明，当前模型在这两项评估上都表现不佳。我们进一步提出了 EIC-Gen，这是一种改进的基线，结合了检测到的拳击事件，以提供结构化的动作线索，产生一致的收益，并强调感知转瞬即逝和微妙的事件对于格斗运动评论的重要性。