论文

AniGS:桥接 3D 场景动画的渲染和扩散先验

AniGS: Bridging Rendering and Diffusion Prior for 3D Scene Animation

应用与实践内容创作

摘要

大型复杂重建场景的新颖视图渲染变得越来越逼真。然而,大多数重建仍然是静态的,缺乏使环境具有沉浸感的环境运动。我们提出了 AniGS,一种用于 3D 高斯泼溅 (3DGS) 重建的场景级动画的方法,它添加了微妙的分布式动态,例如植被运动,同时保留了刚性结构。与仅限于以对象为中心的主题或小区域的现有 3D 动画技术不同,AniGS 专为大型、杂乱、可导航的场景而设计。 AniGS 使用规范的 3DGS 表示场景,并使用时间条件变形场对运动进行建模。为了对整个场景进行动画处理,我们利用预训练的视频扩散模型,并引入迭代数据集模型更新策略,该策略逐步扩大视点覆盖范围,并使用渲染和优化方案重复更新相机固定的训练视频。为了防止静态区域中意外运动产生的伪影,我们进一步引入了一种组合的视频到视频细化方案,将运动限制在所需区域。对五个真实世界的大型户外场景的实验表明,AniGS 可以产生自然的环境动态和高质量的新颖视图视频,从而实现重建环境的更身临其境的观看体验。