纹理空间材质扩散

我们提出了一种完全在纹理空间中为 3D 对象生成高质量材质的方法。我们微调视频扩散转换器，用于文本引导材质生成、多视图材质生成和材质升级。我们的主要见解是使用从图像空间到纹理空间的已知投影，使扩散过程能够泛化到任意几何形状和纹理参数化。这种方法还避免了视频和多视图扩散模型中固有的视图一致性问题。由于纹理空间是二维的，我们可以重用预训练视频扩散模型的强先验。我们将我们的方法应用于从未知光照下拍摄的摆姿照片进行高质量材质重建，以及文本和图像引导材质生成。我们的方法可以扩展到高分辨率 (8K)、100 多个输入视图和神经材料表示。在定量和定性评估中，我们展示了材料生成和重建的最先进结果。