PixGS：用于直接 3D 高斯 Splat 生成的像素空间扩散

从文本或图像生成 3D 内容的最新进展已经取得了令人印象深刻的成果，但 2D 生成器的视图不一致和高质量 3D 数据的稀缺仍然是重大瓶颈。现有解决方案通常采用大规模预训练的文本到图像潜在扩散模型来生成 3D 高斯图 (3DGS)。然而，这些方法通常依赖于训练复杂的级联管道，这些管道的计算成本很高且可扩展性有限。最关键的是，生成的 3D 资产的质量本质上受到每个组件容量和压缩潜在空间的限制，从而导致解码伪影和累积错误。为了解决这些限制，我们提出了 PixGS，这是一种用于直接高质量 3DGS 生成的单级管道，它利用像素空间扩散的最新进展来绕过有损潜在压缩，同时仍然受益于巨大的 2D 生成先验。通过在每个时间步直接对 3D 高斯属性进行去噪，我们的方法可以实现外观和几何形状的精确、splat 级正则化。此外，我们引入了一种综合的监督策略，其中结合了表面法线、深度和高频结构信息，这在之前的工作中经常被忽视。实验表明，PixGS 的性能优于当前最先进的方法，同时保持快速推理速度（单个 A100 GPU 上为 1 秒），为多级生成管道提供了强大而高效的替代方案。