论文

生成视频压缩的信息容量:量化相同质量的速率计算交换

Information Capacity of Generative Video Compression: Quantifying the Rate-Compute Exchange at Identical Quality

模型评测评测方法与指标

摘要

在AI Flow框架下,通信网络跨设备、边缘服务器和云分发智能,接收器处的计算成为可以替代传输比特的资源。生成视频压缩(GVC)通过发送超低比特率的紧凑词元并让生成解码器合成视频来体现这种交换,但解码器计算单元实际上节省了多少带宽从未被量化。为了填补这一空缺,我们将重建质量建模为数据速率和解码器计算中的双因素幂律,它适合两个 GVC 解码器的测量 DISTS,平均误差低于 3%,并将信息容量 (IC) 定义为沿等质量轮廓的负对数斜率,即相同质量下计算每增加一点所节省的速率分数。 IC 是无量纲且单位不变的,因此可以进行与架构无关的比较。它在操作平面上形成一个场,定位额外的去噪步骤值得花费的地方。在五个数据集上,14B 解码器以更少的速率换取更多的计算,效率比 1.3B 解码器高大约十倍。不同数据集的 IC 也存在显着差异,表明 GVC 方法中速率计算权衡的性能不平衡。