揭示并缓解音频深伪检测的神经编解码器漏洞

现有的音频深度伪造检测 (ADD) 数据集和检测器主要是为基于声码器的合成而构建的，针对独立于生成而应用的传统事后扰动（例如 MP3/AAC 压缩或加性噪声）进行评估。然而，最近的语音合成器，特别是基于 ALM 的系统，使用神经音频编解码器进行压缩，并从生成的 token 中重新合成重建波形，从而产生与事后压缩不同的伪影。因此，神经编解码器发挥着双重作用：一些是为低带宽通信下的纯压缩而设计的，而另一些则用作再合成组件。尽管具有双重作用，但与事后压缩不同，基于编解码器的压缩的稳健性在很大程度上仍未得到探索。我们揭示了这一差距，表明最先进的 (SOTA) ADD 模型在编解码器压缩语音上性能急剧下降；特别是，在编解码器重新合成数据上训练的系统作为基于编解码器的生成的代理被证明是最容易受到攻击的，合法压缩的真实语音经常被错误地分类为假的。为了研究这一点，我们通过将七种神经编解码器算法应用于现有的 ADD 基准来构建音频神经编解码器-Spoof 数据集，隔离编解码器引起的再合成伪影作为基于编解码器的生成的受控代理。作为基线缓解措施，我们提出 PCL-NET（成对一致性学习网络），微调是一种预训练的 XLS-R (300M) 编码器，具有成对一致性目标，可最大限度地减少话语的未压缩版本和编解码器压缩版本之间的表示距离，从而将编解码器伪像与真假决策分开。结果，PCL-NET 将神经编解码器压缩下的平均 EER 从 28.67% 降低到 12.77%，同时保持基于 CoSG 的深度伪造检测性能的竞争性。一旦接受，我们还将在 Hugging Face 上公开提供该数据集。