VoRTeC：驯服一步实时视频压缩的基础流程

摘要

超低比特率视频压缩仍然面临严峻挑战：传统的神经视频压缩不可避免地会引入模糊伪影，而基于扩散的生成视频压缩则面临解码延迟过大和时间一致性差的问题。为了解决这些问题，我们提出了 $\mathtt{VoRTeC}$，这是一个基于基础流模型 (Wan2.1) 构建的视频压缩框架。通过对潜在视频表示进行紧凑编码、预测压缩表示沿流轨迹的位置以及集成多尺度先验，$\mathtt{VoRTeC}$ 使压缩器能够有效地利用生成视频流先验。在不访问流匹配网络的参数或梯度的情况下，我们的框架实现了具有高感知保真度的一步解码和重建。同时，我们通过尾帧重用和先前缓存来保持帧组之间的一致性。大量实验表明，与之前基于扩散的方法相比，我们的方法减少了 58\% 的比特消耗，解码速度提高了 3 至 197 倍：$\mathtt{VoRTeC}$ 在 720p 下实现了 13 FPS 的解码速度，在 480p 下实现了 32 FPS 的解码速度。