FLAT：前馈潜在三角形喷射，用于生成几何精确的场景

摘要

从单个图像生成可探索的 3D 场景需要强大的生成先验和适合下游使用的准确几何表示。当前的视频扩散模型提供高质量的生成并在潜在空间中隐式编码多视图几何结构。然而，现有的前馈潜在场景解码器通常输出缺乏明确定义表面的体积 3D 高斯，限制了它们在模拟或标准图形管道中的使用。这促使解码表面对齐的图元，这些图元不仅可渲染，而且更接近显式几何资产。我们询问压缩视频扩散潜伏是否可以在单次传递中直接映射到显式表面基元。为此，我们引入了 FLAT，并首次证明三角形图可以直接从视频扩散潜伏中解码。与解码 3D 高斯分布相比，由于对基元方向高度敏感，预测平坦基元更具挑战性，通常会导致梯度流较差。 FLAT 使用两个关键要素进行求解：用于三角形回归的以光线为中心的旋转参数化，以及改进可微三角形渲染期间的梯度流的新颖的乘积窗口函数。在标准基准测试中，与最先进的前馈基线相比，FLAT 实现了明显更好的几何精度，同时保持了有竞争力的视觉质量。我们进一步表明，轻量级测试时细化步骤将预测的三角形汤转换为完全不透明、支持实时渲染的游戏引擎就绪表示。通过在相同的训练设置下评估 3DGS、2DGS 和三角形喷射变体，我们首次对前馈场景生成中的表示权衡进行系统分析。项目页面位于 https://flat-splat.github.io