论文

迈向弹性语音推理:来自预训练 ASR 的免训练唤醒词检测

Toward Elastic Speech Inference: Training-Free Wake-Word Detection from Pretrained ASR

摘要

最近的 ASR 发展越来越强调跨不同领域和声学条件的泛化。现有方法通常通过额外的训练或特定于任务的模块将预训练的 ASR 模型适应前端功能,例如唤醒词 (WuW) 检测。在这项工作中,我们探索了使用共享的预训练 ASR 主干进行 WuW 检测,而无需基于梯度的微调,并检查是否可以使用 SliceGPT 基于 PCA 的结构化修剪方法来提取紧凑编码器。 Parakeet-TDT-0.6B-v3 和 Moonshine-base 的实验表明,当编码器通道维度减少 50% 时,WuW 检测性能保持相对稳定。这些结果表明,任务相关的紧凑型编码器可以从预训练的 ASR 模型中派生出来,无需进行微调。