论文
REVIVE 3D:通过编码体积膨胀之前进行细化以增强体积
REVIVE 3D: Refinement via Encoded Voluminous Inflated prior for Volume Enhancement
摘要
最近的生成模型在从 2D 图像生成各种 3D 资产方面表现出了强大的性能,这是计算机视觉和图形学的基础研究主题。然而,当输入是提供有限 3D 线索的平面图像时,这些模型仍然难以生成大量 3D 资源。我们推出 REVIVE 3D,这是一个两阶段的即插即用管道,用于从平面图像生成大量 3D 资源。在第一阶段,我们通过膨胀前景轮廓来恢复全局体积并叠加部分感知细节来捕获局部结构来构造一个膨胀先验。在第 2 阶段,3D 潜在细化将高斯噪声注入到膨胀先验的潜在中,然后对其进行去噪,使用先验的几何线索来利用骨干网的预训练 3D 知识。此外,我们的框架支持图像调节 3D 编辑。为了量化体积和表面平整度,我们提出了紧凑性和法向各向异性。我们通过用户研究验证了紧凑性和正态各向异性,表明这些指标与人类对体积和质量的感知一致。我们基于广泛的定性和定量评估,证明 REVIVE 3D 在具有挑战性的平面图像数据集上实现了最先进的性能。