SymphoMotion：相机运动和物体动力学的联合控制以生成连贯视频

控制相机运动和物体动力学对于生成连贯且富有表现力的视频至关重要，但当前的方法通常仅处理一种运动类型或依赖于模糊的 2D 线索，这些线索将相机引起的视差与真实的物体运动纠缠在一起。我们推出了 SymphoMotion，这是一个统一的运动控制框架，可在单个模型中共同控制相机轨迹和物体动力学。 SymphoMotion 具有相机轨迹控制机制，将显式相机路径与几何感知提示集成在一起，以确保稳定、结构一致的视点转换，以及对象动态控制机制，将 2D 视觉引导与 3D 轨迹嵌入相结合，以实现深度感知、空间连贯的对象操作。为了支持大规模训练和评估，我们进一步构建了 RealCOD-25K，这是一个全面的真实世界数据集，包含跨不同室内和室外场景的配对相机姿势和对象级 3D 轨迹，解决了统一运动控制中的关键数据缺口。大量的实验和用户研究表明，SymphoMotion 在视觉保真度、相机可控性和物体运动精度方面显着优于现有方法，为视频生成中的统一运动控制建立了新的基准。代码和数据可在 https://grenoble-zhang.github.io/SymphoMotion/ 上公开获取。