GameCraft-Bench：代理可以在真实游戏引擎中端到端地构建可玩的游戏吗？

游戏生成是编码智能体的一个新兴应用，需要模型将自然语言规范转换为可玩的交互系统。与传统的编码任务不同，游戏生成是在游戏引擎内进行的，其中脚本、场景、资产、渲染和运行时交互必须共同产生连贯的游戏玩法。我们将端到端游戏生成形式化为生成完整游戏工件的问题，该工件通过目标环境中可观察的玩家-游戏交互来实现规范。我们认为评估此设置需要三个必要条件：与实际游戏引擎对应、工件完整性和交互式验证。我们提出了一个基于交互的评估框架，通过重播演示和标准引导的多模态判断来评估可执行的游戏玩法。我们将该框架实例化为 GameCraft-Bench，这是一个包含 15 个游戏系列的 140 个 Godot 任务的基准测试。对前沿 编码智能体 的评估表明，端到端的游戏生成仍然具有很高的挑战性：最强的智能体仅达到 41.46%，大多数智能体得分低于 40%。进一步的分析表明，虽然代理经常实现可识别的机制，但他们很难提供具有足够内容、功能性视觉反馈和连贯呈现的完整游戏。有关演示、代码和数据，请参阅 https://tongxuluo.github.io/gamecraft-bench-website。