Stepper：使用多视图全景逐步生成沉浸式场景

在新颖的视频生成模型和前馈 3D 重建的推动下，从文本合成沉浸式 3D 场景正在迅速成熟，在 AR/VR 和世界建模方面具有巨大潜力。虽然全景图像已被证明对场景初始化有效，但现有方法在视觉保真度和可探索性之间进行权衡：自回归扩展会受到上下文漂移的影响，而全景视频生成仅限于低分辨率。我们推出了 Stepper，这是一个用于文本驱动的沉浸式 3D 场景合成的统一框架，它通过逐步全景场景扩展来规避这些限制。 Stepper 利用新颖的多视图 360° 扩散模型，实现一致的高分辨率扩展，并结合增强几何一致性的几何重建管道。 Stepper 在新的大规模多视图全景数据集上进行训练，实现了最先进的保真度和结构一致性，优于先前的方法，从而为沉浸式场景生成树立了新标准。