Seen2Scene：通过可见性引导流程完成逼真的 3D 场景

我们推出了 Seen2Scene，这是第一个基于流匹配的方法，可以直接在不完整的真实世界 3D 扫描上进行训练，以完成场景并生成场景。与依赖完整的合成 3D 数据的先前方法不同，我们的方法引入了可见性引导的流匹配，它明确地掩盖了真实扫描中的未知区域，从而能够从现实世界的部分观察中进行有效学习。我们使用稀疏网格中编码的截断符号距离场 (TSDF) 体积来表示 3D 场景，并采用稀疏 Transformer 来有效地建模复杂的场景结构，同时屏蔽未知区域。我们采用 3D 布局框作为输入调节信号，并且我们的方法可以灵活地适应各种其他输入，例如文本或部分扫描。通过直接从现实世界的不完整 3D 扫描中学习，Seen2Scene 可以为复杂、杂乱的真实环境实现逼真的 3D 场景完成。实验表明，我们的模型可以生成连贯、完整且逼真的 3D 场景，在完成精度和生成质量方面优于基线。