论文

Genie Sim PanoWorld:通过全景场景建模和模拟的无限室内 3D 世界生成管道

Genie Sim PanoWorld: An Infinite Indoor 3D World Generation Pipeline via Panoramic Scene Modeling and Simulation

应用与实践内容创作

摘要

我们解决了从单个 360^\circ$ 全景图中重建高保真、可自由导航的 3D 场景的问题,无需按场景优化或多视图捕获。现有方法要么缺乏度量轨迹控制,这阻碍了可靠的下游 3D 重建,要么在长距离相机运动下难以解决大的遮挡问题,同时需要高端多 GPU 服务器。我们推出了 Genie Sim PanoWorld,这是一种两级前馈管道,可通过显式的轨迹可控全景视频连接生成和重建。 NavMesh 规划的 $\mathrm{SE}(3)$ 漫游轨迹通过密集几何扭曲条件注入到潜在视频扩散模型中;长-短轨迹混合训练和基于快捷模型的自洽目标一起在四个无 CFG 去噪步骤中产生高保真视频。然后,前馈全景重建器将生成的视频提升为高保真 3D 高斯场景,该场景支持实时、自由视点漫游,并可直接用作具体 AI 应用的模拟就绪资产。实验表明,Genie Sim PanoWorld 在全景视频生成和下游 3D 重建方面均优于几何条件基线,同时将零镜头推广到看不见的室内场景。