SNM-VFI：对称非线性运动引导生成视频帧插值

我们提出了对称非线性运动引导生成视频帧插值（SNM-VFI），这是一种 无需训练 框架，用于使用预训练的光流和视频扩散模型进行运动可控生成视频帧插值。与从随机噪声合成中间帧的传统基于扩散的 VFI 方法不同，SNM-VFI 使用对称非线性运动模型生成的对应感知帧来指导生成过程。具体来说，我们首先利用预训练的光流模型来构建基于非线性流的多帧中间帧和置信图。然后，这些流引导帧被编码为潜在先验，以初始化并迭代引导预先训练的视频扩散模型，使扩散模型能够保留密集的运动对应关系，同时提高感知真实感。为了进一步提高输出质量，我们采用置信图将结构可靠的基于流的预测与不确定区域（例如遮挡和对象边界）中扩散生成的细节融合起来。对 DAVIS、Sintel 和 KITTI 等具有挑战性的基准进行的广泛评估表明，SNM-VFI 在不同的运动场景中实现了强大的感知质量、有竞争力的重建精度和强大的时间相干性。