GaussianGPT：迈向自回归 3D 高斯场景生成

3D 生成建模的最新进展依赖于扩散或流量匹配公式。相反，我们探索完全自回归的替代方案，并引入 GaussianGPT，这是一种基于 Transformer 的模型，可通过下一个词元预测直接生成 3D 高斯，从而促进完整的 3D 场景生成。我们首先使用具有矢量量化功能的稀疏 3D 卷积自动编码器将高斯基元压缩为离散潜在网格。使用具有 3D 旋转位置嵌入的因果 Transformer 对生成的词元进行序列化和建模，从而能够顺序生成空间结构和外观。与整体细化场景的基于扩散的方法不同，我们的公式逐步构建场景，自然支持完成、覆盖、通过温度控制采样和灵活的生成范围。该公式利用了自回归建模的组合归纳偏差和可扩展性，同时在与现代神经渲染管道兼容的显式表示上进行操作，将自回归 Transformer 定位为可控和上下文感知 3D 生成的补充范例。