使用自回归扩散模型加速视频逆问题求解器

扩散模型为零镜头视频逆问题提供了强大的先验，但其实时部署受到两个低效率的阻碍：整体视频恢复导致的高初始延迟，以及为增强像素空间中的测量一致性而进行的多个 VAE 传递导致的低吞吐量。为了克服这些限制，我们提出了自回归视频逆问题求解器（AVIS）。 AVIS框架利用自回归视频扩散模型以流方式恢复视频，自然消除了延迟瓶颈。具体来说，AVIS 使用测量一致的估计来初始化反向扩散，从而减少所需的采样步骤。与领先的非自回归求解器相比，AVIS 将初始延迟从 114 秒大幅减少到 4 秒，并将吞吐量从 0.71 FPS 提高到 1.18 FPS，同时实现卓越的恢复质量。我们进一步引入了一种高度加速的变体，称为 AVIS Flash，它仅在第一个块上强制执行测量一致性。 AVIS Flash 将单个 RTX 4090 GPU 上的吞吐量大幅提升至 5.91 FPS，同时保持有竞争力的性能并实现有利的效率与性能权衡，为实时部署铺平了道路。