PartiCam：带有奖励指导的摄像机控制视频生成

我们提出了 PartiCam，一种无需训练的基于粒子过滤的方法，用于改进相机控制的视频生成。对于大型视频扩散模型来说，生成遵循精确指定的摄像机轨迹的视频仍然具有挑战性。免训练方法与主干网无关，并且通过在测试时将预训练模型转向所需的相机运动来避免构建大型相机注释数据集。这使得能够生成摄像机控制的视频数据，这些数据随后可用于训练摄像机调节的视频扩散模型。现有的基于采样的制导方法经常受到轨迹不稳定的影响：它们要么探索范围太广，无法尊重目标相机的运动，要么过早崩溃并随着时间的推移失去视觉多样性。我们引入了用于扩散奖励指导的全局局部细化框架，从而在视频生成过程中实现准确且一致的摄像机控制。我们的方法建立在顺序蒙特卡罗（SMC）指导的基础上，但引入了基于粒子过滤重采样的局部细化阶段。实验表明，在无需重新训练模型的情况下，相机轨迹依从性、漂移减少和视觉质量得到了很大改善。