论文

3DCarGen:通过 3D 一致的多视图合成生成可扩展的 3D 汽车

3DCarGen: Scalable 3D Car Generation via 3D-consistent Multi-view Synthesis

应用与实践内容创作

摘要

高质量的3D车辆资产对于自动驾驶模拟至关重要。尽管基于多视图扩散的范例能够实现可控的单图像重建,但它们通常会产生有限的视点并表现出跨视图几何不一致,从而降低了现实场景中的重建保真度。在这项工作中,我们介绍了 3DCarGen,这是一种可扩展的单视图 3D 汽车生成框架,通过合成任意数量的 3D 一致的多视图图像来设计真实世界图像。具体来说,给定单个图像作为输入,我们首先从固定的视点合成一组图像。然后将这些图像输入前馈重建模型,从而产生基于 3D 高斯分布的粗略 3D 表示。以这种显式 3D 先验为条件,我们的多视图扩散模型可以从任意相机视点生成 3D 一致的图像。我们通过结合颜色法线联合优化进一步扩展了快速网格重建算法,以从合成的密集视图中恢复详细且连贯的 3D 车辆模型。对合成数据集和真实数据集的大量实验表明,与现有方法相比,我们的方法实现了稳健的几何一致性和重建保真度。项目页面:https://honglixiao.github.io/3dcargen.github.io/。