论文
Kaggle Game Arena：以竞争游戏评估模型策略能力
Game Arena: Strategic LLM Evaluation in Competitive Environments
摘要
我们推出 Kaggle Game Arena，这是一个开放且不断扩展的平台，用于通过竞技游戏评估大型语言模型 (LLM)。与静态基准不同，游戏竞技场使模型能够在结构化环境中进行正面对决，其中游戏强度随着模型的发展而自然增加，从而防止性能饱和。该技术报告详细介绍了 Game Arena 背后的基础设施，并描述了三种试点游戏环境：国际象棋、扑克和狼人。这些环境涵盖完美信息、不完美信息和多人游戏设置，从而能够系统地研究模型在不确定性下的战略规划、适应和鲁棒性。对于每场比赛，我们提供了环境、评估指标以及跨模型运行完整比赛的结果的详细描述。通过强大的基础设施和大规模的基于事实的评估，Game Arena 确保了新游戏和变体随着时间的推移的可重复性、透明度和普遍性。
