SMG：单目动态高斯泼溅的语义运动图

我们研究单目视频的动态高斯泼溅。虽然动态高斯分布的最新进展为动态场景建模提供了有希望的基础，但由于约束区域中缺乏可靠的正则化信号，它们经常过度拟合训练视图并在遮挡或复杂场景运动下失败。我们提出语义运动图（SMG），这是一种将高斯运动建模为低秩语义运动的新颖方法。我们的主要见解是，现实世界的场景运动通常是由语义连贯性构建的：空间上接近且语义相关的区域往往表现出一致的动态。为了利用这一先验，我们构建了 SMG 来对场景的结构化运动进行建模。高斯运动由 SMG 节点的运动驱动。我们进一步观察到，高斯运动的不确定性源于不可靠的现成先验和优化过程中的弱约束区域。 SMG 通过使用可靠的图节点来引导附近不可靠节点的运动来解决这个问题。为了评估具有挑战性的现实场景下的动态高斯泼溅，我们引入了在 ego-exo 设置下收集的新多视图数据集。大量实验表明，SMG 在具有挑战性的现实世界基准中实现了单目动态高斯分布的最先进性能。项目页面：https://smg-gaussian.github.io/。