UltraTex：释放 2K 多视图扩散以实现 3D 纹理

高质量纹理生成对于创建逼真且可立即投入生产的 3D 资源至关重要。最近的多视图扩散方法在图像引导 3D 纹理方面显示出了有希望的结果，但它们通常受限于低操作分辨率，例如 512 或 768，因此很难从高分辨率参考图像中保留高频细节。将此范式扩展到 2048 分辨率在计算上是令人望而却步的，因为统一的多视图序列超过 212K 词元并导致过多的内存和延迟。在本文中，我们提出了 UltraTex，这是一种高效的端到端框架，用于基于高分辨率多视图扩散的 3D 纹理。我们的主要观察是以对象为中心的多视图渲染包含两个主要的冗余源：背景引起的序列冗余和前景内的稀疏标记交互。为了解决这些问题，我们引入了背景词元丢弃（Background Token Dropping），它在 DiT 主干之前删除背景词元；以及块稀疏注意力（Block-Sparse Attention），它减少了对保留的前景序列的注意力计算。为了实现高效的仅前景推理，同时避免重建伪影，我们进一步设计了前景感知 VAE 解码，以确保最终高分辨率视图的质量。为了满足2K分辨率多视图扩散训练的苛刻数据要求，我们构建了G-buffer TexVerse，这是一个覆盖超过268,000个3D资产的大规模、超高分辨率多视图渲染数据集。大量实验表明，UltraTex 可以生成具有丰富细粒度细节的视觉忠实纹理，同时大幅提高效率，在数据集中的常见样本上实现 $20.6\times$--$91.1\times$ 训练加速和 $22.3\times$--$74.6\times$ 端到端推理加速。代码和数据位于此 https URL。