InSpace：从单个 360° 图像生成结构感知 3D 室内场景

摘要

单图像到 3D 生成的最新进展实现了高质量的资产合成，但将这些功能扩展到室内场景生成仍然具有挑战性。现有方法侧重于资产层面的生成，而忽略了结构布局，而结构布局对于下游应用至关重要，并且是定位场景资产的空间锚点。然而，视野有限的单个图像缺乏恢复连贯全局布局的空间覆盖范围。为此，我们使用以等距柱状投影 (ERP) 表示的 360° 图像，并提出了 InSpace，这是一种用于 3D 室内场景生成的结构感知框架。 InSpace 包括三个阶段：(1) 将部分场景几何形状估计为空间先验，(2) 通过视图选择性交叉注意力生成粗略场景结构，(3) 使用流匹配，通过全局-局部混合注意力生成带有纹理的详细布局和资产几何形状。我们还提出了 ERP-FRONT，这是一个基于 3D-FRONT 的配对 ERP-Image-to-3D 室内场景数据集。实验表明，InSpace 可生成具有结构布局的完整 3D 室内场景，以及来自单个 ERP 图像的单独纹理资产，在 3D 和 2D 指标上实现了强大的性能。项目页面：https://kookie12.github.io/InSpace-Project-Page/