论文

StreamSoccer:用于流媒体足球评论的事件驱动内存

StreamSoccer: Event-Driven Memory for Streaming Soccer Commentary

摘要

流视频理解需要模型在视频到达时因果性地更新状态,并将不断增长的历史组织成可以在有限的计算和内存下演化、持续和调用的语义单元。这一挑战在现场足球评论中尤为明显,系统必须描述已完成的事件、总结最近的比赛、回忆之前的事件,或者仅使用每次发言之前可用的信息保持沉默。我们提出了 StreamSoccer,一个事件驱动的系统,使用事件内存作为其中间表示。固定预算的主动存储器集成了流;已完成的事件状态保留在本地并合并到可检索的历史记录中。统一生成器使用当前、最近和历史上下文来生成三种评论模式,而规则辅助调度程序则选择一种模式或静音。与围绕帧、视觉词元或缓存组织的流视频语言模型以及基于预定义剪辑或输出时间戳的足球解说方法不同,StreamSoccer 显式地对事件生命周期进行建模。我们构建了一个三轨流媒体足球评论数据集和分层评估协议。在常用参考锚点上,StreamSoccer 在当前事件、最近窗口和历史记忆评论方面获得了 38.62、23.96 和 17.39 的 CIDEr 分数,在当前事件和历史记忆轨道上排名第一,在最近窗口上排名第二。受控消融表明,本地完成的事件改善了所有赛道,并且整个系统在所有三个赛道上都表现最佳。在 58 场比赛的 174 个原始视频中,每分钟 RTF p95 的范围从 0.10 到 0.22,并且没有随着比赛历史持续增长。这些结果表明事件内存支持跨时间范围的流式足球评论,同时控制长历史计算。