4DSynth：用于动态具体仿真的可控程序世界综合

实体代理需要视觉上多样化、物理上交互式且随时间变化的环境。程序模拟器可以生成大型交互式场景集合，而最新的 4D 生成器可以产生引人注目的视觉动态。然而，将这些属性组合在一个环境中仍然需要大量的手动工作，而且结果很少可编辑或可控，足以大规模重用。我们提出了 4DSynth，这是一个可控的程序系统，可以将自然语言描述、蓝图蒙版或单张照片转换为具有显式几何、动画角色、无碰撞轨迹和物理就绪模拟状态的可编辑 4D 环境。多个场景路径共享一种基于几何的表示，因此同一个管道可以处理动画、相机规划、渲染和任务生成。为了验证完整的流程，我们构建了 4DSynth-Nav，这是一个完全从 4DSynth 的程序场景生成的交互式导航基准。在三个难度级别上评估的两种视觉语言模型都未能完成大多数任务，并在早期子任务后停滞不前。产生这些环境的相同程序可控性也使得每个故障都可重现，并且每个难度轴都可以独立调整。本文提出了可控生成管道及其支持的可扩展基准，为开发和评估实体代理提供了实用基础。