论文

GameGen-Verifier:通过运行时状态注入对 LLM 生成的游戏进行基于并行关键点的验证

GameGen-Verifier: Parallel Keypoint-Based Verification for LLM-Generated Games via Runtime State Injection

模型评测评测方法与指标

摘要

基于 LLM 的游戏生成有望将自然语言规范转化为可执行游戏,但由于缺乏可靠的自动验证,进展受到限制。与传统的代码生成不同,游戏的正确性是通过长期交互来定义的:游戏可能看起来正确,但违反了状态更新、交互规则和相变等核心机制。现有的代理作为验证者将验证折叠到开放式游戏中,使得判决受可达性限制、耗时、覆盖范围有限并且对代理的游戏能力敏感。我们提出了 GameGen-Verifier,这是一种针对 LLM 生成的游戏的自动验证范例,它将规范分解为可验证的关键点,并将它们分解为独立的验证单元。每个单元将游戏运行时修补为具体的目标状态,执行有界交互,并根据关键点断言判断结果。我们实现了 GGV-Harness,这是一种可扩展的代理工具,提供并发管理、运行时隔离和故障恢复。在 VeriGame(我们的包含 7 种类型的 100 款游戏的数据集)上,GameGen-Verifier 针对人类判断的准确率高达 92.2%,而覆盖范围强制的代理作为验证者基线的准确率仅为 58.8%,同时将挂钟时间缩短高达 16.6 倍。