AffectCodec：保留情绪的神经语音编解码器

神经语音编解码器为语音语言模型提供离散表示，但情感线索在量化过程中通常会退化。现有的编解码器主要优化声学重建，而在表示层面上对情感表达的建模不够充分。我们提出了一种情感引导的神经语音编解码器，它可以明确地保留情感信息，同时保持语义保真度和韵律自然性。我们的框架结合了情感语义引导的潜在调制、保留关系的情感语义 蒸馏 和情感加权语义对齐，以在压缩下保留情感上的显着线索。对语音重建、情感识别和下游文本到语音生成的广泛评估表明，在不牺牲内容准确性的情况下，情感一致性和感知质量得到了改善。