PixWorld：统一像素空间中的 3D 场景生成和重建

3D 重建和生成通常通过不同的范例来处理：用于重建的基于像素的回归和用于生成的潜在扩散。最近的工作试图在潜在空间中统一它们，但存在明显的缺点：扩散目标是在潜在特征而不是底层 3D 表示上定义的，并且两个分支都遭受潜在编码引入的信息丢失，同时需要预训练的变分自动编码器（VAE）或表示自动编码器（RAE）。在本文中，我们在统一的像素空间扩散范式下重新表述了这两个任务，并引入了 PixWorld，这是一个联合解决 3D 重建和生成问题的单一模型。通过直接监督渲染图像上的扩散，PixWorld 消除了上述限制，并使优化与 3D 场景保真度保持一致。除了在 2D 图像级别运行且缺乏 3D 几何感知的光度和感知监督之外，我们还引入了几何感知损失，将渲染视图与预训练 3D 基础模型的几何感知特征空间中的 真值 对齐，从而提供 3D 结构监督。 PixWorld 始终优于先前的潜在空间生成方法，并与最先进的重建方法相匹配，展示了统一像素空间方法的优越性。