短语本地化语言对比指导：无需训练用于代码切换文本到语音的本地化重音控制

摘要

当前的语音合成在语码转换方面遇到了困难，语码转换将外语短语混合到主要语言的话语中，导致使用主要语言的口音而不是母语的口音说出该短语。我们提出了短语本地化语言对比指导（LCG），这是一种无需训练推理框架，可将跨语言文本到语音中的代码转换短语恢复为母语口音。 LCG 将整个话语中应用的单一语言指导替换为针对每个区域的单独指导，因此每个部分都由自己的语言指导。为了选择在哪里应用这种本地化指导，我们提出了一种自注意力探测技术，可以在没有外部对齐的情况下找到短语边界。这些组件一起生成每个区域带有自己语言口音的语音，不需要微调或辅助模型。在不同的语言对中，LCG 可以显着提高语码转换短语的本土性，同时抑制口音泄漏，并保持整体说话者身份和自然度。