论文

WorldFlow3D:流经 3D 分布以生成无界世界

WorldFlow3D: Flowing Through 3D Distributions for Unbounded World Generation

应用与实践内容创作

摘要

无界 3D 世界生成正在成为计算机视觉、图形和机器人领域场景建模的基础任务。在这项工作中,我们提出了 WorldFlow3D,一种能够生成无界 3D 世界的新颖方法。基于流匹配的基本属性(即定义两个数据分布之间的传输路径),我们将 3D 生成更普遍地建模为流经 3D 数据分布的问题,而不限于条件去噪。我们发现,我们的潜在自由流方法可以生成因果且准确的 3D 结构,并且可以将其用作中间分布来指导生成更复杂的结构和高质量纹理 - 同时比现有方法收敛得更快。我们通过场景属性实现几何结构控制和视觉纹理控制的矢量化场景布局条件对生成场景的可控性。我们确认了 WorldFlow3D 在真实户外驾驶场景和合成室内场景上的有效性,验证了跨域通用性和真实数据分布的高质量生成。我们确认,在所有测试设置中,无界场景生成的方法都具有良好的场景生成保真度。有关更多信息,请参阅 https://light.princeton.edu/worldflow3d。