LivingWorld：具有环境动力学的交互式 4D 世界生成

我们介绍 LivingWorld，这是一个交互式框架，用于从单个图像生成具有环境动态的 4D 世界。虽然 3D 场景生成的最新进展使得大规模环境创建成为可能，但大多数方法主要侧重于重建静态几何体，而很大程度上未探索云、水或烟雾等场景规模的环境动态。对此类动态进行建模具有挑战性，因为运动必须在扩展的场景中保持连贯，同时支持低延迟的用户反馈。 LivingWorld 通过随着场景的扩展逐步构建全局连贯的运动场来解决这一挑战。为了在扩展过程中保持全局一致性，我们引入了一个几何感知对齐模块，该模块可以解决跨视图的方向和比例模糊性。我们进一步使用紧凑的基于散列的运动场来表示运动，从而实现整个场景中动态的高效查询和稳定传播。这种表示形式还支持渲染期间的双向运动传播，从而生成长且时间连贯的 4D 序列，而无需依赖昂贵的基于视频的细化。在单个 RTX 5090 GPU 上，生成每个新的场景扩展步骤需要 9 秒，然后需要 3 秒进行运动对齐和运动场更新，从而实现具有全局连贯环境动态的交互式 4D 世界生成。视频演示可在 paper.pnu-cvsp.com/LivingWorld 上获取。