论文
NeoWorld-Pro:从单目图像编程交互式场景以进行具体模拟
NeoWorld-Pro: Programming Interactive Scenes from Monocular Images for Embodied Simulation
摘要
嵌入式人工智能的进步需要忠实反映现实世界的高质量模拟资产。然而,由于当前图像到 URDF 方法缺乏物理基础和场景级交互性,将原始视觉观察结果转换为模拟就绪场景仍然具有挑战性。我们提出 NeoWorld-Pro,一个将单目场景重建重新表述为交互式 3D 环境的程序编程的框架。利用 MLLM 的零样本推理和代码合成功能,NeoWorld-Pro 将单个 RGB 图像转换为指定对象几何形状、关节和物理属性的可执行程序。然后,物理循环机制通过验证生成的程序在物理引擎中的执行、强制执行物理上合理的关节、有效的对象组合和交互以及准确的空间关系,迭代地完善生成的程序。实验表明,NeoWorld-Pro 的性能优于开环和先前的单目重建方法,同时支持复杂的下游任务,例如稳定堆叠和细粒度操作。