论文

GameCommBench:按解说类型评测AI游戏评论

GameCommBench: A Unified Benchmark and Type-Aware Evaluation for AI-Generated Game Commentary

模型评测应用与实践基准与评测资源评测方法与指标内容创作

摘要

游戏评论是一项开放式生成任务,需要多模态感知、策略推理和情境知识。现有的人工智能生成游戏评论(AI-GGC)研究在游戏、模式和评估协议方面仍然分散,而基于重叠或整体的评估者无法捕捉评论的功能异质性。我们引入 \textsc{GameCommBench},这是一个涵盖棋盘游戏、体育和电子竞技的统一基准,其评论与异构游戏环境保持一致,并按评论类型进行注释。我们进一步提出类型感知评论评估(TACE),这是一个用于评估不同类型评论的结构化框架。然后,我们验证 TACE 的可靠性和人类一致性,并用它来衡量代表性人工智能评论员的基准。结果揭示了不均匀的能力概况,实时观察和战略分析成为主要瓶颈。 \textsc{GameCommBench} 和 TACE 一起为可比较和可解释的 AI-GGC 评估提供了诊断基础。