论文
HiFiVe:利用自回归 2D 生成先验的高保真车辆生成
HiFiVe: High-Fidelity Vehicle Generation Leveraging Auto-Regressive 2D Generative Priors
摘要
现有的 3D 车辆生成方法通常存在几何保真度低和纹理模糊的问题,阻碍了其下游应用。虽然最近的作品采用多视图扩散模型来实现高保真纹理,但它们通常受到固定视点、有限分辨率以及依赖昂贵的 微调 来实现跨视图一致性的限制。在本文中,我们提出了 HiFiVe,一种 无需训练 框架,通过施加 3D 几何约束来锚定 2D 生成先验,通过联合纹理和几何增强来进行高保真车辆建模。具体来说,我们提出了一种自回归纹理细化管道,可以从任意视点逐步合成高分辨率纹理。为了确保跨视图一致性,粗略几何体充当同步先验,通过基于深度的扭曲和多视图纹理融合在先前合成的帧上调节每个生成步骤。此外,利用车辆固有的对称性来减轻误差累积。最后,通过使用从增强纹理估计的法线贴图细化网格几何形状来恢复高频表面细节。对合成和真实世界车辆数据集的大量实验表明,与最先进的基线相比,我们的方法显着提高了几何细节和纹理质量。项目页面:https://honglixiao.github.io/hi Five.github.io/。