AugCodec：通过数据增强的低比特率解缠结神经语音编解码器

我们提出了 AugCodec，一种低比特率解缠结神经语音编解码器，它利用数据增强将语音分解为三个不同的组成部分：语义、说话者和韵律标记。具体来说，我们采用定制的增强策略将语音转换为不同的变体，每个变体都用作提取保留目标属性同时抑制其他属性的标记的输入。这种解开策略可以大幅降低词元生成速率。此外，我们引入了一种增强损失，可以在源语音和语音转换后的语音之间对齐语义编码器输出，鼓励与说话人无关的嵌入，同时减轻语音转换引起的声学不匹配。 LibriSpeech test-clean 上的实验表明，AugCodec 在重建质量和解缠结方面都显着优于最先进的方法，同时使用三个词元流仅以 12.5Hz 运行。