GhostPrefix以无需同步的通用音频前缀操控ASR转写

我们推出了 GhostPrefix，这是第一个针对自动语音识别（ASR）系统的无同步通用对抗性前缀攻击。以前的音频攻击通常是根据话语精心设计的，需要与受害者波形同步或针对狭窄的目标，而 GhostPrefix 与此不同，GhostPrefix 会学习在任意实时语音前面添加一个简短的、可重复使用的音频片段，以对 ASR 输出进行实时控制，而无需了解未来的话语或时间对齐。一个关键的挑战是在未知的、不断变化的语音环境中保持稳定的对抗效应。 GhostPrefix 将 token 级损失与新颖的表示级目标相结合，以实现稳定的、与输入无关的效果。 GhostPrefix 支持三种攻击模式：(i) 用于语义引导的提示前缀攻击，(ii) 用于转录劫持的目标前缀攻击，以及 (iii) 用于转录降级的非目标前缀攻击。为了保持感知上的不显眼，我们将通过正则化使前缀接近无害环境声音分布，并提高了针对声学空中传输失真的鲁棒性。我们评估了来自 4 个系列的 13 个开源 ASR 模型的 GhostPrefix。在数字环境中，提示引导的平均攻击成功率为 97.6%，定向劫持的平均攻击成功率为 93.4%，而无目标攻击下的词错误率达到 1.18。在声学空中传输条件下，提示模式和目标模式的成功率分别达到 91.5% 和 89.5%。这些操作传播到下游人工智能辅助管道，包括语音助手和人工智能笔记工具，导致系统性语义误解。 GhostPrefix 将无同步通用前缀暴露为对现实世界 ASR 和下游应用程序的实际的、尚未充分研究的威胁。工件和演示可在 https://ghostprefix.github.io/ 获取。