论文
OmniFabric:用于 3D 服装重建的相干 UV 空间纹理合成
OmniFabric: Coherent UV Space Texture Synthesis for 3D Garment Reconstruction
摘要
从单个图像自动生成可立即投入生产的 3D 服装资产是数字内容创建的核心挑战。虽然最近的生成模型显着改进了 3D 几何重建,但合成高质量纹理仍然是一个瓶颈。现有方法通常将环境照明和阴影直接烘焙到纹理贴图中,或者无法保持全局结构连贯性,从而导致生成的资源无法用于物理模拟和重新照明。在这项工作中,我们介绍了 OmniFabric,这是一种直接在 2D 缝纫图案空间内合成全局连贯纹理图的新颖方法。给定单个参考图像,我们的流程利用估计的 3D 网格和强大的视觉语言模型 (VLM) 的生成先验,在展开的缝纫图案上建立完整但粗糙的纹理初始化。然后,我们利用专门的扩散Transformer,通过自动合成数据引擎进行训练并以 3D 位置特征为条件,直接在规范 UV 域中完善此初始化。这有效地消除了扭曲和烘焙伪影,以提取干净且标准化的纹理贴图,从而保留原始服装设计。大量实验表明,OmniFabric 的性能显着优于最先进的基准,可产生具有高质量纹理的逼真 3D 服装。