AffectCodec：具有块对角残差 FSQ 的情感保留神经语音编解码器

神经语音编解码器已成为原始音频和语音语言模型之间的离散接口，但它们仍然主要针对声学重建保真度进行优化，这使得与情感相关的线索在量化过程中很容易被丢弃，从而限制了下游模型的情感能力。我们将这种退化追溯到两种机制：有限比特率下的重建驱动的比特分配和基于串联的编解码器中的跨流泄漏，其中声学梯度可以覆盖名义上的情感保留维度。我们提出了 AffectCodec，一种基于块对角残差有限标量量化 (BD-RFSQ) 构建的情感保留神经语音编解码器。通过在情感和声学子空间上施加块对角输入和输出投影，BD-RFSQ 将比特分配从隐式和损失驱动转变为显式和结构保证，同时仍然为下游语音语言模型保留平面词元接口。 AffectCodec 进一步将这种结构受限的量化器与多粒度情感调节和多速率训练相结合，从而在低比特率下实现稳健的情感保留。跨多个情感语音基准的实验表明，AffectCodec 极大地改善了情感保留，尤其是在低比特率情况下，同时保持有竞争力的音质和清晰度。这些结果表明，结构保护量化是保留情感相关信息的有效原则，并且可能为属性感知神经语音压缩提供通用途径。