NavCrafter：从单个图像探索 3D 场景

当直接 3D 数据采集成本高昂或不切实际时，从单个图像创建灵活的 3D 场景至关重要。我们介绍了 NavCrafter，这是一种新颖的框架，它通过合成具有摄像机可控性和时空一致性的新颖视图视频序列来探索单个图像的 3D 场景。 NavCrafter 利用视频扩散模型来捕获丰富的 3D 先验，并采用几何感知扩展策略来逐步扩展场景覆盖范围。为了实现可控的多视图合成，我们引入了一种多级相机控制机制，该机制通过双分支相机注入和注意力调制来调节具有不同轨迹的扩散模型。我们进一步提出了一个碰撞感知相机轨迹规划器和一个增强的 3D 高斯泼溅 (3DGS) 管道，具有深度对齐监督、结构正则化和细化功能。大量实验表明，NavCrafter 在大视点变化下实现了最先进的新颖视图合成，并显着提高了 3D 重建保真度。