论文
RecGen3D:共享规范空间中重建引导的 3D 生成
RecGen3D: Reconstruction-Guided 3D Generation in a Shared Canonical Space
摘要
稀疏视图 3D 建模代表了重建保真度和生成合理性之间的根本张力。虽然前馈重建在效率和输入对齐方面表现出色,但它通常缺乏结构完整性所需的全局先验。相反,基于扩散的生成提供了丰富的几何细节,但难以实现多视图一致性。我们提出了 RecGen3D,一个将这两种范式结合到一个协作系统中的框架。为了克服坐标空间、3D 表示和训练目标中的固有冲突,我们在共享的规范空间内对齐这两个模型。我们采用解耦合作学习,在保持稳定训练的同时,在推理过程中实现无缝协作。具体来说,重建模块适用于提供规范的几何锚点,而扩散生成器则利用潜在增强条件来细化和完成几何结构。实验结果表明,RecGen3D 实现了卓越的保真度和鲁棒性,在根据稀疏观测创建完整且一致的 3D 模型方面优于现有方法。