桥接事件流和 DiT：事件引导视频帧插值

潜在扩散模型最近通过合成输入图像之间的中间帧来改进视频帧插值。然而，处理大的时间间隙和复杂的运动仍然具有挑战性，通常会导致运动模糊、结构扭曲和时间不一致。事件摄像机提供高时间分辨率运动线索，非常适合弥补这些差距并提高插值质量。为了利用这一优势，而不需要从头开始训练事件辅助模型，我们提出了一种基于适配器的框架，该框架将事件派生的线索合并到预先训练的图像到视频扩散模型中，并且架构变化最小。具体来说，我们的方法利用图像扭曲事件（IWE）和双向稀疏光流在生成过程中提供空间和时间对齐的指导。通过将这些事件引导的结构和运动线索注入扩散过程，我们的方法减少了插值伪影并提高了重建保真度和时间一致性。真实和综合基准的实验结果表明，我们的方法始终优于现有的最先进方法。项目页面位于 https://joseph-lin-tech.github.io/BridgeEventDiT-VFI/。