LACE：动态帧率编解码器的分层压缩

神经音频编解码器是语音语言建模的关键组成部分。然而，它们的高帧速率导致序列长度较长，从而增加了计算成本。动态帧速率编解码器通过使用压缩步骤将多个帧合并在一起来降低有效帧速率，从而缓解这一问题。然而，大多数现有方法要么在单码本编解码器上运行，要么在多层量化之前应用单个压缩步骤。这迫使所有量化层共享相同的分割边界，尽管不同量化层的残余嵌入随着时间的推移表现出不同的变化率。我们提出了 LACE（层自适应编解码器编码），这是一种动态帧率编解码器，它在每个量化层应用独立的压缩步骤，从而实现特定于层的分割边界。为了在下游文本转语音 (TTS) 中使用 LACE 词元，我们进一步引入联合对齐和边界锚点机制，以使跨层的持续时间保持一致，同时保留压缩优势。 LibriTTS 上的实验表明，与之前的动态帧率方法相比，LACE 在重建任务上提供了更好的速率与质量权衡，并提高了 TTS 推理效率，同时保持有竞争力的合成质量。我们的代码作为 ESPnet3 编解码器配方的一部分发布。