ZipCodec：超低帧率流式语音编码

神经音频编解码器是现代语音生成系统的基本组成部分。虽然最近的编解码器实现了越来越低的比特率，但降低帧速率仍然具有挑战性，因为每个词元必须在保持重建质量的同时保留更多信息。我们推出了 ZipCodec，一种以 6.25 Hz 和 0.80 kbps 运行的流式神经语音编解码器，理论延迟为 160 ms。我们的方法将大规模 WavLM 蒸馏 与重新设计的基于 Transformer 的架构、标量球形量化器和延迟感知流解码器相结合。实验表明，在重建和下游任务中，ZipCodec 在相当的比特率下明显优于现有的流媒体编解码器，同时以明显较低的帧速率运行。尽管有 842M 参数，ZipCodec 在消费级 CPU 上实现了实时单流推理。演示示例、代码和检查点可在 https://lucadellalib.github.io/zipcodec-web/ 获取。