迈向可信赖的音频深度伪造检测：诊断和减轻性别偏见的系统框架

摘要

音频深度伪造检测系统越来越多地部署在高风险的安全应用中，但其在不同人口群体中的公平性仍然严重不足。之前的工作衡量了性别差异，但没有调查它的来源或如何系统地解决它。我们提出了第一个诊断优先的框架，该框架在应用有针对性的缓解之前识别偏差源，并在 ASVSpoof5 上的 AASIST 和 Wav2Vec2+ResNet18 两个模型上进行评估。我们的诊断表明，偏差并非源于不平衡的训练数据，而是源于声学表征差异、学习特征中的性别泄漏以及结构评估不对称。我们测试了处理中、处理后和组合系列的缓解策略，包括本工作中引入的新方法。根据性别单独调整决策阈值可将不公平性降低 54% 至 75%，而不会影响检测准确性，并且我们新的纪元级公平正则化方法优于现有的每批次方法。对抗性去偏见只有在性别渗漏是局部的时候才会成功，而当性别渗漏是扩散的时候就会失败，这是我们在训练前的诊断正确预测的结果。没有任何一种方法可以完全缩小公平性差距，这证实了在应用修复之前必须识别偏差源，并且更公平的基准设计同样重要