探索神经音频编解码器中的低帧率退化

神经音频编解码器中的低帧速率对于自回归语音合成很有吸引力，其中生成成本与序列长度呈线性关系。最近的研究表明，编解码器可以在 12.5 Hz 及以下频率下运行，但低帧率退化的机制仍不清楚。我们通过受控的帧速率消融来研究这些机制。我们重现了之前作品中报告的 6.25 Hz 处的质量悬崖，并评估了候选解释：音素冲突和码本饱和，这两者都没有显示出基本障碍的证据。相反，悬崖是由次优的训练配置引起的：训练期间的固定剪辑持续时间在低帧速率下产生的词元太少，导致解码器缺乏词元间上下文。纠正后，WER 会平稳降级，音素负载降至 3.1 Hz 和 1.6 Hz，这表明低帧率编解码器的推理时间效率增益比之前假设的更容易实现。