论文
OREO:通过动态渲染编辑优化实现 3D 生成中的保真度对齐
OREO: Fidelity Alignment in 3D Generation via On-the-fly Rendering-Editing Optimization
摘要
尽管 3D 生成技术最近取得了进步,但模型通常难以生成具有高视觉保真度的资产。为了弥补这一差距,我们提出了 OREO,这是一种对齐框架,它通过利用丰富的 2D 扩散先验来增强 3D 生成器的真实感。 OREO 不依赖静态数据集,而是建立一个动态优化循环,生成动态编辑的渲染作为 2D 伪目标。在其核心,我们引入了强化编辑,它利用 2D 模型来细化 3D 输出的渲染视图,增强其整体视觉保真度,同时保留底层几何结构、视点和内容。这些精炼视图作为高质量的监督目标,使 3D 生成器能够从自己生成的样本中学习并逐步提高其视觉质量。实验表明,OREO 有效改进了预先训练的基线,生成具有增强视觉真实感的 3D 资产。