论文
G-Skin:学习将 3D 高斯与生成视觉先验绑定
G-Skin: Learning to Bind 3D Gaussians with Generative Visual Priors
摘要
3D高斯溅射在真实感和高效渲染方面取得了显着的成功,导致以3D高斯图元为代表的3D资产快速增长。使用任意骨架拓扑直接装备这些资产是非常可取的。然而,由于缺乏高质量的 3D 高斯索具数据集,训练前馈蒙皮框架是不可行的。另一种解决方案是将基于网格的技术转移到基于 3D 高斯的表示,但 3D 高斯图元不限于表面并且缺乏显式的拓扑连接性。此外,由于这种方法对训练数据的强烈依赖,对未见过的数据的泛化能力较差,而获取高质量的索具数据的成本却非常昂贵。为了解决这个具有挑战性的问题,我们提出了 G-Skin,这是一种新颖的生成蒙皮框架,专为具有 3D 高斯表示的表现力和高保真动画而设计。为了克服 3D 数据稀缺的问题,我们引入了一种骨架可控图像生成模型,利用 2D 视觉基础模型将强大的运动先验提炼为伪引导。在这些先验的指导下,我们制定了一个结合几何感知正则化的优化管道,它稳定了学习过程并确保平滑、结构一致的蒙皮权重。 G-Skin 还可以灵活地推广到 3D 高斯表示的增强变体,旨在减轻动画引起的渲染伪影。大量的实验验证了我们的方法的有效性,与最先进的方法相比具有明显的优势。项目页面:https://yaoyx689.github.io/GSkin.html。