论文

SVGS:通过高斯溅射进行单视图到 3D 对象编辑

SVGS: Single-View to 3D Object Editing via Gaussian Splatting

应用与实践内容创作

摘要

文本驱动的 3D 场景编辑因其方便性和用户友好性而引起了人们的极大兴趣。然而,依赖于隐式 3D 表示的方法(例如神经辐射场 (NeRF))虽然可以有效渲染复杂场景,但由于处理速度慢和对场景特定区域的控制有限而受到阻碍。此外,现有的方法(包括 Instruct-NeRF2NeRF 和 GaussianEditor)利用多视图编辑策略,在执行文本指令时经常会在不同视图之间产生不一致的结果。这种不一致会对模型的整体性能产生不利影响,使平衡编辑结果的一致性和编辑效率的任务变得复杂。为了应对这些挑战,我们提出了一种称为“通过高斯分布进行单视图到 3D 对象编辑”(SVGS) 的新方法,这是一种基于 3D 高斯分布 (3DGS) 的单视图文本驱动编辑技术。具体来说,为了响应文本指令,我们引入了一种基于多视图扩散模型的单视图编辑策略,该策略仅利用那些产生一致编辑结果的视图来重建 3D 场景。此外,我们采用稀疏 3D 高斯分布作为 3D 表示,这显着提高了编辑效率。我们对 SVGS 与各种场景设置下的现有基线方法进行了比较分析,结果表明 SVGS 在编辑能力和处理速度方面均优于同类方法,代表了 3D 编辑技术的重大进步。有关更多详细信息,请访问我们的项目页面:https://amateurc.github.io/svgs.github.io。