论文

FlowEdit:用于流程匹配 TTS 中终生发音适应的联想记忆

FlowEdit: Associative Memory for Lifelong Pronunciation Adaptation in Flow-Matching TTS

模型训练持续学习

摘要

流匹配文本到语音系统实现了卓越的零样本质量,但在部署后保持静态:词汇表外专有名词的发音错误仍然存​​在,除非重新训练模型。我们引入了 FlowEdit,这是一个用于冻结流匹配 TTS 的终身适应框架,它可以将发音校正学习为潜在调节编辑而不是权重更新。当提供纠正反馈时,FlowEdit 会优化文本嵌入空间中的 词元级 扰动,然后将纠正结果存储在现代 Hopfield 网络中,作为内容可寻址情景存储器。在推理时,通过具有相似性门的软注意来检索校正,从而实现模糊形态匹配。在我们策划的涵盖 18 个语系的 312 个多语言专有名词的基准测试中,FlowEdit 相对于零样本基线将目标词音素错误率降低了 92.7%,同时保持相同的一般语音质量。在单个 GPU 上,校正大约可在 15 秒内完成。