Vista4D：使用 4D 点云重新拍摄视频

我们推出了 Vista4D，这是一个强大而灵活的视频重新拍摄框架，它将输入视频和目标摄像机置于 4D 点云中。具体来说，给定输入视频，我们的方法从不同的摄像机轨迹和视点重新合成具有相同动态的场景。现有的视频重新拍摄方法经常与现实世界动态视频的深度估计伪影作斗争，同时也无法保留内容外观，并且无法保持精确的相机控制来挑战新的轨迹。我们通过静态像素分割和 4D 重建构建基于 4D 的点云表示，以显式保留所见内容并提供丰富的相机信号，并使用重建的多视图动态数据进行训练，以在现实世界推理过程中针对点云伪影进行鲁棒性训练。我们的结果表明，与各种视频和摄像机路径下的最先进基线相比，4D 一致性、摄像机控制和视觉质量得到了改善。此外，我们的方法还可以推广到现实世界的应用，例如动态场景扩展和 4D 场景重组。有关结果、代码和模型，请参阅我们的项目页面：https://eyeline-labs.github.io/Vista4D