CameraAnything：使用任意相机控制重新拍摄视频

我们推出了 CameraAnything，这是第一个用于摄像机控制视频编辑的统一框架，可以联合控制内部和外部摄像机参数。现有方法要么依赖昂贵的 3D 重建来实现完整的相机功能，要么将编辑限制为外部参数操作。此外，内在和外在参数对视频外观的耦合影响使得解缠结建模特别具有挑战性。为了解决这个问题，我们在自注意力中采用每像素 Plücker 射线注入以及分辨率感知 3D RoPE，在潜在目标上构建相机调节和空间位置编码，以共同控制相机位置、焦距和原始分辨率编辑，而无需裁剪或覆盖。为了克服配对训练数据的稀缺性，我们进一步开发了一个可扩展的合成管道，通过结构化的多摄像头记录构建多样化的动态场景，并生成具有不同摄像头配置的同步视频。通过定制的正交训练策略，CameraAnything能够在单次生成过程中实现任意视点控制、焦距调整、分辨率自适应和多镜头过渡等富有表现力的视频重拍，为电影视频编辑和视频制作中的跨平台内容适配提供强大的实用价值。