Rein3D：利用全景视频扩散模型增强 3D 室内场景生成

对嵌入式 AI 和 VR 应用的需求不断增长，凸显了从稀疏输入合成高质量 3D 室内场景的需求。然而，现有的方法很难在保持全局一致性的同时推断大片看不见的区域中大量缺失的几何形状，通常会产生局部合理但全局不一致的重建。我们提出了 Rein3D，这是一个通过将显式 3D 高斯分布 (3DGS) 与来自视频扩散模型的时间相干先验相结合来重建完整 360 度室内环境的框架。我们的方法遵循“恢复和细化”范式：我们采用径向探索策略沿着从原点开始的轨迹渲染不完美的全景视频，从而有效地从粗略的 3DGS 初始化中发现遮挡区域。这些序列通过全景视频到视频扩散模型进行恢复，并通过视频超分辨率进一步增强，以合成高保真几何和纹理。最后，这些精炼视频作为伪地面事实来更新全局 3D 高斯场。为了支持这项任务，我们构建了 PanoV2V-15K，这是一个包含超过 15K 配对的干净和降级全景视频的数据集，用于基于扩散的场景恢复。实验表明，与现有基线相比，Rein3D 可以生成逼真且全局一致的 3D 场景，并显着改进远程相机探索。