DistScene：把对象生成先验蒸馏为三维场景生成能力

摘要

我们提出了 DistScene，这是一个通过对环境和单个对象进行联合建模来生成单图像合成 3D 场景的框架。与主要将场景表示为对象集合的现有方法不同，我们将环境建模为显式场景组件，以为对象放置提供几何上下文。具体来说，我们引入了场景帧生成，它在共享坐标系中联合生成单独的环境和对象组件，从而可以一起学习它们的几何形状和相对位置。然后，我们引入以对象为中心的细化，以使用场景上下文细化局部帧中的每个对象。最后，我们开发了对象到场景蒸馏，通过自动组合和渲染的合成场景，将预先训练的对象生成先验转移到场景生成。对室内和室外基准的评估表明，与评估的基线相比，场景级空间一致性得到了改善。项目页面：https://coolbeam.github.io/DistScene/

DistScene：把对象生成先验蒸馏为三维场景生成能力：论文原图 — 图 2：对象到场景蒸馏的概述。我们采用 TRELLIS.2 作为对象生成器，从中提取训练数据。首先，LLM 生成 3D 资产的描述，包括对象和环境；然后使用这些描述为 TRELLIS.2 生成相应的输入图像。获得 3D 资产后，我们将它们放入生成的环境中并进行物理检查。最后，我们渲染每个场景的条件图像作为条件输入。