通过可控多样化和漂移过滤稳定 Instruct-TTS 的指令监督

Instruct-TTS 系统通过 LLM 重写将结构化样式标签扩展为自然语言训练指令，但我们发现超过 40% 的无约束重写包含语义漂移，这会破坏监督并削弱泛化能力。我们将这个问题形式化为指令监督不稳定，并提出了一种以数据为中心的稳定方法，通过三种机制共同提高覆盖范围和保真度：用于系统扩展的可控指令多样化、用于质量控制的基于 LLM 的漂移过滤、以及基于声学扰动中韵律控制的属性对齐监督。在 InstructTTSEval 的中文拆分中，我们的方案将指令遵循率从没有 微调 的 34.5% 和使用朴素 微调 的 51.0% 提高到 56.4%，而约束重写将漂移从 40.4% 减少到 15.4%。消融证实这三种机制是互补的，并且漂移分类法可以推广到 TTS 之外的指令驱动生成。