论文
NOPE-HYPE：结构化仿真工作流程，可在不同的声学环境中实现稳健的语音到文本
NOPE-HYPE: A Structured Simulation Workflow for Robust Speech-to-Text Across Diverse Acoustic Environments
摘要
强大的语音到文本翻译系统应该在不同的声学条件下可靠地执行，但实际的管道缺乏用于系统环境探索的可控工具。大型语音模型对看不见的声学条件仍然很敏感，因为训练数据很少覆盖整个真实环境。我们提出了 NOPEHYPE，这是一种结构化训练工作流程，它结合了可控环境模拟器、功率谱密度 (PSD) 模板上的覆盖范围最优环境缩减，以及通过模拟器旋钮进行的小型可解释超参数搜索。我们表明，模拟器生成的噪声在 Whisper 和 SeamlessM4T 模型中实现了与平衡真实噪声训练相当的性能，提供了原则性的环境原型集，并从结构化的 27 次运行超参数扫描中确定了实际的默认模拟器配置。