FLUX3D：具有扩散对齐稀疏表示的高保真 3D 高斯生成

稀疏体素表示已成为图像到 3D 高斯分布 (3DGS) 生成的可扩展基础，但由于两个结构瓶颈，当前的方法很难保留输入图像的高频视觉细节。首先，他们采用针对语义抽象优化的判别性 2D 特征来构建稀疏体素潜伏，从而抑制重建线索并引发表示瓶颈。其次，在生成阶段，标准扩散 Transformer 缺乏有效的机制来将密集的 2D 图像标记与稀疏的 3D 体素潜伏对齐，从而导致跨模态对应瓶颈。为了解决这些问题，我们提出了 FLUX3D，这是一种可扩展的图像到 3DGS 框架，可以在生成过程中增强表示学习和跨模式对齐。我们首先重新审视基于稀疏体素的 3D 表示学习的 2D 特征选择，提出扩散对齐结构化潜伏 (DA-SLAT) 并将其与仅解码器架构结合起来以提高 3DGS 重建保真度。我们还设计了一个稀疏结构感知扩散框架，它集成了稀疏结构多模态扩散 Transformer (SMDiT) 和模态感知旋转位置嵌入 (MARoPE)，以实现几何不可知的 2D-3D 对齐。广泛的基准实验表明，FLUX3D 显着提高了外观保真度，并且在生成高质量 3DGS 资产方面显着优于所有最先进的 (SOTA) 方法。