密集先验引导生成视频压缩

基于扩散的生成视频压缩为低比特率重建提供了一种有前途的范例，但现有的基于关键帧的可控方法依赖于非关键帧的稀疏先验，这些先验通常缺乏足够的底层细节来进行忠实的重建，并且需要进行非平凡的训练以使生成模型适应专门的控制。我们提出了密集先验引导生成视频压缩（DGVC），这是一种 无需训练 框架，它使用非关键帧的编解码器压缩亮度分量作为密集先验来指导重建。与稀疏控制不同，密集亮度先验与现代保真度导向的视频编解码器兼容，并且在压缩后保持足够的忠实度，消除了对先验特定编解码器训练的需要，并且在实践中不需要额外的生成模型适应。此外，亮度先验保留了更丰富的结构和纹理信息，从而为可控视频生成提供更可靠的指导。 DGVC 进一步引入了颜色距离引导的关键帧选择策略来捕获颜色变化以进行色度恢复。大量实验表明，DGVC 在信号保真度和感知质量方面始终优于先前的可控压缩方法，同时与代表性的后增强方法保持竞争力。