论文

递归代码世界模型:通过递归场景程序构建复杂世界

Recursive Code World Models: Building Complex Worlds through Recursive Scene Programs

智能体系统Agent 规划

摘要

代码世界模型将世界表示为可执行程序,但这种表示本身并不能决定如何构建复杂的世界。我们引入了递归代码世界模型 (RCWM),这是一个用于从单个参考图像的代码中重建复杂 3D 世界的框架。 RCWM 将递归场景程序 (RSP) 表示与递归调用自身的构造求解器结合起来。 RSP 将可执行世界表示为组合场景代码,而每个求解器调用都遵循相同的完整过程:建立整体,递归地重建未解析的部分,并重新访问整体以细化其组合。这种全局-局部-全局递归为精细结构提供了自己的感知和编辑循环,同时保留了场景范围的几何形状和关系。参考对齐视图跨级别传播共享相机投影,而父重访则解决局部细化后出现的边界、空间关系和共享错误。视觉语言 编码智能体 直接将参考图像与场景渲染进行比较,以指导细化、递归下降和返回。在复杂场景中,RCWM 优于先前基于代码的图像到场景重建方法。消融研究进一步支持了递归构建的好处,并表明更深层次的调用可以改善更精细的重建。 RCWM 提供了一种递归构造原理,用于根据视觉证据构建复杂的可执行世界。