KIT 在 IWSLT 2026 中提交跨语言语音克隆

跨语言语音克隆旨在生成目标语言的语音，同时根据源语言参考保留说话者的身份。此任务是语音翻译的核心，也是 IWSLT 2026 跨语言语音克隆轨道的重点。一个关键的挑战是在存在口音变化和特定领域词汇的情况下保持清晰度和自然性。我们以多语言文本转语音模型 FishAudio-S2-Pro 为基础，引入语言标签提示来改进语言控制并减少口音泄漏。我们进一步应用强化学习（RL）微调 进行任务适应，并观察可懂度的提高。最后，我们提出了一种参考条件词汇匹配方法，该方法可以在存在词汇重叠时改善特定领域术语的发音。结果表明，语言提示提供了最大的收益，而词汇匹配则对匹配的子集产生了一致的改进。