多语言多说话人单元声码器：离散语音表示的系统分析

通过自监督嵌入的 k 均值聚类获得的离散语音单元会纠缠语音、说话人和语言信息，导致多语言多说话人语音生成中的说话人混合和跨语言干扰。尽管在音频 LLM 和语音到语音系统中的使用越来越多，但单元声码器仍然未被充分开发。我们分析了基于 BigVGAN 的单位声码器，涵盖四种印度语言。我们使用 WER、说话者相似度和单元级别指标研究簇大小和调节策略之间的相互作用。结果表明，簇大小通过提高语音辨别能力来控制清晰度，而明确的说话人调节对于防止身份崩溃是必不可少的。语言监督主要在单位仍不明确的较小集群规模下产生进一步的收益。我们的分析显示，不同语言中的相似音素在较小的库存中会崩溃为相同的簇 ID，而较大的簇会逐渐将它们分开。