论文

那又是什么?自动语音识别的鲁棒性认证

What Was That Again? Certified Robustness for Automatic Speech Recognition

模型评测鲁棒性、公平性与可信度评测

摘要

众所周知,自动语音识别系统对对抗性扰动和良性扰动都很敏感。虽然这一点已经使用参考数据集反复得到证明,但由于缺乏真实转录的预言机知识,在已部署的系统中检测此类行为非常具有挑战性。我们证明,采用受认证启发的机制可以显着降低 WER、提高召回率并降低置信度与 WER 之间的 Spearman 相关性。我们通过双门诊断管道实现这一目标:积累统计财富以证明词元存在和对抗性排除的双边原子审计,以及选择获胜序列的基于排名的锦标赛。我们对四种不同架构的评估表明,单词错误率相对降低了高达 55%,同时还提供了精细的单词和句子级认证以增强声学安全性。