单目 4D 场景合成的统一全景高斯表示

近年来，单目视频的 4D 场景合成取得了重大进展。然而，现有方法通常受到视图插值的限制。因此，他们很难推断出观察到的视图之外的未见区域。在本文中，我们将任务重新表述为具有未见区域的 4D 场景合成，这超出了传统的插值设置。相机调节的视频生成通过引导沿着指定相机的生成来实现看不见的区域合成。然而，这些方法缺乏明确的 3D 先验，并且使用随机相机轨迹进行优化。这种设计会导致大轨迹偏差下的严重不一致。为了解决这个限制，我们建立了一个具有全景轨迹引导的统一训练和推理框架。虽然这种设计提高了跨视图一致性，但仅凭全景表示无法有效地对动态内容进行建模。全景空间中的物体运动会引入尺度和形状扭曲。为了解决这个问题，我们提出了 PanoGaussian，一种统一的全景高斯表示，它将全景表示提炼为显式动态高斯表示，以捕获 4D 场景的动态物理先验。实验表明，即使在视点变化较大的情况下，PanoGaussian 也能实现一致的 4D 场景合成。