GA-GS：用于静态场景重建的生成辅助高斯溅射

从具有动态对象的单目视频重建静态 3D 场景对于虚拟现实和自动驾驶等众多应用非常重要。当前的方法通常依赖于背景来进行静态场景重建，限制了恢复被动态对象遮挡的区域的能力。在本文中，我们提出了 GA-GS，一种用于静态场景重建的生成辅助高斯溅射方法。我们工作的关键创新在于利用生成来协助重建遮挡区域。我们采用运动感知模块来分割和删除动态区域，然后使用扩散模型来修复遮挡区域，提供伪 真值 监督。为了平衡真实背景和生成区域的贡献，我们为每个高斯基元引入了一个可学习的真实性标量，它在泼溅过程中动态调节不透明度，以实现真实性感知的渲染和监督。由于没有现有的数据集提供带有动态对象的视频 真值 静态场景，因此我们构建了一个名为 Trajectory-Match 的数据集，使用固定路径机器人记录每个有/没有动态对象的场景，从而能够在遮挡区域的重建中进行定量评估。对 DAVIS 和我们的数据集进行的大量实验表明，GA-GS 在静态场景重建方面实现了最先进的性能，特别是在具有大规模、持续遮挡的挑战性场景中。