SPG-Codec：探索超低比特率神经语音编码中语义先验的作用和边界

传统的神经语音编解码器在超低比特率下会遭受严重的清晰度下降，其中瓶颈从声学失真转变为语义丢失。为了解决这个问题，本文对将冻结语义先验（特别是 HuBERT 和 Whisper）集成到神经语音编码中的作用和基本限制进行了系统研究。我们引入并定量验证了一种新颖的语义退休现象：虽然语义约束在 1.5 kbps 时将字错误率 (WER) 相对降低了约 10%，但它们的好处在超过 6 kbps 时迅速减弱，这表明了实际的容量边界。我们进一步揭示了不同先验类型之间的明显权衡：丰富声学先验（HuBERT）可以更好地保留韵律和音色细节，而高级语言先验（Whisper）可以有效抑制嘈杂环境中的语音幻觉（将幻觉率降低 26%），并大大缩小对看不见的说话者的泛化差距。基于这些发现，我们提出了一种比特率感知调节策略，可以动态调整先验强度，以优化语义一致性和感知自然性之间的权衡。广泛的实验评估证实，与现有基线相比，我们的方法实现了有竞争力的清晰度和噪声鲁棒性，为超低比特率生成语音编码提供了原则性途径。