Track2View：通过成对 3D 点轨迹生成 4D 一致的摄像机控制视频

从新的摄像机视点重新渲染现有视频需要输出遵循规定的摄像机轨迹，同时保留每一帧原始场景的外观和动态。现有方法依赖于每帧姿态嵌入、噪声点云渲染或隐式学习对应，这些都无法在源像素和目标像素之间提供显式的、时间上连续的链接。我们提出了 Track2View，它在成对的 3D 点轨迹上调节视频扩散 Transformer：场景点的稀疏轨迹投影到源和目标摄像机视图中。这些轨道提供了明确的时空对应关系，这些对应关系通过构造在时间上连续，编码什么内容应该在何时何地出现。 Track2View 的核心是双视图跟踪调节器，它通过无参数几何操作和学习时间聚合将视觉上下文从源视图传输到目标视图，确保泛化到任意相机轨迹，而无需记住特定运动。我们进一步介绍了一种数据管理管道，该管道通过在临时连接的多摄像机视图对上运行 3D 点跟踪器来提取一对一的跟踪对应关系。在涵盖静态和动态场景的 400 个视频基准测试中，Track2View 在视觉质量、视图同步和相机精度方面实现了最先进的结果，相对于领先基准，旋转误差减少了 30-65%，平移误差减少了 61-72%。项目页面可通过以下 https URL 获取：https://qjizhi.github.io/track2view