论文
WorldCoder-Bench:物理锚定的3D世界合成基准
WorldCoder-Bench: Benchmarking Physically Grounded 3D World Synthesis
摘要
人们越来越多地要求大型语言模型(LLM)不仅要编写静态接口,还要从自然语言构建可执行的交互式世界。浏览器原生 3D 通常使用 Three.js 构建,是自然的下一个前沿:生成的程序必须集成资源、遵守空间和物理约束,并使面向用户的控件与隐藏的运行时状态保持同步。然而,现有的 Web 生成基准和评估器在很大程度上仅观察像素或 DOM 节点,而 Three.js 世界的机制在不透明的 <canvas> 内展开。我们推出了 WorldCoder-Bench,这是一个自主的、基于物理的 3D 世界合成的基准。 WorldCoder-Bench 包含 2,026 个专家策划的任务,涵盖模拟、渲染和应用场景,以及可选的 .glb 资产和隐藏的行为合约。我们进一步提出了 StateProbe,这是一种基于执行的协议,可探测沙盒浏览器中生成的程序,并在运行时状态和转换上验证隐藏的、经过突变的合约。除了验证范围之外,我们还报告自动化回报和时间效率乘数,以衡量正确性调整后的成本和时间节省。在九个前沿模型中,最好的系统在 WorldCoder-Core 上仅达到 27.8% 的验证覆盖率,在 WorldCoder-Robust 上仅达到 19.9%,其故障主要是状态模式漂移和交互链断裂,而不是缺少场景元素。效用指标进一步表明,廉价或快速的模型仍然可以在更简单的领域提供巨大的价值。 WorldCoder-Bench 可在 https://anonymous.4open.science/r/WorldCoder-Bench/ 上获取。
