Ink3D：通过视频生成模型雕刻具有极其复杂纹理的 3D 资源

最近的 3D 生成模型可以合成高质量的几何体，但通常很难从参考图像中再现复杂的纹理，这主要是由于缺乏具有丰富表面外观的大规模 3D 训练数据。相比之下，视觉生成模型是在大几个数量级的数据集上进行训练的，并且擅长对复杂的视觉模式进行建模。出于这一差距，我们引入了 Ink3D，这是一个将 3D 生成与大规模视频生成模型连接起来的框架，以合成极其复杂的纹理。 Ink3D 首先使用现成的 3D 生成模型重建白色网格几何体。然后，它采用 OrbitPainter（一种条件视频生成模型）来生成密集的轨道扫描视频，捕获跨视点的物体外观。为了将这些视图转换为连贯的纹理，我们引入了TextureOptimizer，这是一个神经烘焙模块，它集成了密集的多视图观察，同时减轻了视频生成引起的几何不一致。通过解耦几何和纹理合成并利用大规模预训练视频先验，Ink3D 能够比以前的方法生成更丰富、更忠实的纹理。