JAMER：专业游戏引擎的项目级代码框架数据集和基准

当前人工智能驱动的游戏开发在资产生成、游戏玩法设计和基于网页的游戏编码方面取得了实质性进展，但由于缺乏大规模数据集和确定性评估方法，专业游戏引擎的项目级代码工程在很大程度上尚未得到探索。我们推出 JamSet 和 JamBench，这是第一个基于专业游戏引擎构建的项目级游戏代码框架数据集和基准测试。我们的主要见解是，Game Jam 竞赛和社区活动（开发人员在紧迫的时间限制下构建完整的游戏）产生了数千个适合此目的的开源项目。基于 Godot 引擎的基于文本的格式和无头执行模式，我们设计了从文件完整性到运行时行为收集的确定性验证管道，从超过 240,000 个存储库中提取了 8,133 个经过验证的项目。其中，300 个由 JamBench 手动验证的项目；其余的构成JamSet。 JamBench 定义了主题驱动的生成和代码完成任务，通过结合编译通过率、结构完整性分数 (SCS) 和行为对齐分数 (BAS) 的管道进行评估。对 9 个前沿模型的评估揭示了随着项目规模的增加出现能力悬崖，运行时通过率从小型项目的 80.4% 下降到大型项目的 5.7%（任务 2a）。代码代理提高了编译率，但没有提高运行时行为质量，这表明瓶颈在于架构设计而不是语法正确性。实验验证 JamSet 是有效的训练数据。所有数据和代码都是公开的。