论文

SceneCode:面向含铰接物体可编辑室内场景的可执行世界程序

SceneCode: Executable World Programs for Editable Indoor Scenes with Articulated Objects

应用与实践内容创作

摘要

室内场景合成是具身AI、机器人操作与基于仿真的策略评估的基础,有用的场景不仅要指定环境外观,还要指定其中物体的结构方式。然而现有流水线通常将生成内容表示为静态网格,铰接结构只能继承自精选资产库,这限制了物体级可控性,也无法按需生成新的可交互资产。为弥合这一空白,我们将物理可交互的室内场景合成形式化为程序化世界生成,并提出SceneCode,一个把自然语言提示编译为可执行的、代码驱动的室内世界而非不透明网格集合的框架。房间级智能体骨干首先将提示转化为结构化的房屋布局,并通过规划者-设计者-评论者循环为每个物体发出AssetRequest。随后每个请求被路由到五种代码生成策略之一,转换为按部件合成的Blender Python程序,并通过执行引导的修复-精化循环进行验证。所得程序被编译为仿真就绪的资产,并以SDF形式导出用于物理仿真。持久的场景状态注册表将物体请求、可执行程序、渲染几何与仿真资产关联起来,使场景组装成为可追踪、可局部编辑的世界构建过程。我们从场景级合成、物体级资产质量、人类判断和下游机器人交互等方面评估SceneCode。结果表明,可执行世界程序改进了忠实于提示的室内场景生成,并产出网格结构更干净、含仿真器可加载铰接元数据的资产。项目页面:https://scene-code.github.io/。

SceneCode:面向含铰接物体可编辑室内场景的可执行世界程序:论文配图
图1:SceneCode总览:将自然语言场景提示编译为可执行的代码驱动室内场景,包含带关节、可交互的物体。