论文
CameraNoise:通过几何流引导噪声扭曲在视频扩散中实现忠实的相机控制
CameraNoise: Enabling Faithful Camera Control in Video Diffusion through Geometry-Flow-Guided Noise Warping
摘要
精确的相机姿态控制对于视频扩散至关重要,但保持几何一致性仍然是一个挑战。直接将数值相机参数注入扩散主干的现有方法通常无法弥合抽象坐标和视觉内容之间的差距,从而导致结构扭曲。为了解决这个问题,我们提出了 CameraNoise,一种从流到噪声的变形方法,它将相机运动编码为时间相干的随机表示。与传统调节不同,CameraNoise 将相机姿势直接嵌入到噪声空间中。这将运动与场景外观分离,同时忠实地保留了轨迹动态。具体来说,我们引入了一种新颖的几何引导重投影流和噪声扭曲算法,它们共同保留扩散的高斯先验并确保相机变换下一致的噪声传播。通过将 CameraNoise 集成到扩散过程中,我们的框架可提供稳定、高保真的视频。大量的实验表明,我们的方法在视觉质量和轨迹 忠实性 方面都显着优于先前的方法。项目页面和代码位于:https://gulucaptain.github.io/CameraNoise/。