InstaVSR：驯服扩散以实现高效且时间一致的视频超分辨率

摘要

视频超分辨率 (VSR) 旨在从低分辨率输入重建高分辨率帧。虽然基于扩散的方法大大提高了感知质量，但将其扩展到视频仍然具有挑战性，原因有两个：强生成先验可能会引入时间不稳定，并且多帧扩散管道对于实际部署而言通常过于昂贵。为了同时解决这两个挑战，我们提出了 InstaVSR，一种用于高效视频超分辨率的轻量级扩散框架。 InstaVSR 结合了三个要素：(1) 修剪后的一步扩散主干，从传统的基于扩散的 VSR 管道中删除了几个昂贵的组件，(2) 通过流引导时间正则化进行循环训练，以提高帧到帧的稳定性，(3) 潜在空间和像素空间中的双空间对抗性学习，以在主干简化后保持感知质量。在 NVIDIA RTX 4090 上，InstaVSR 在不到一分钟的时间内以 2K$\times$2K 分辨率处理 30 帧视频，仅使用 7 GB 内存，与现有的基于扩散的方法相比，大大降低了计算成本，同时保持良好的感知质量，时间过渡显着平滑。