论文

证据子空间投影:测量有多少证据可以解释自监督语音模型中的 Deepfake 检测

Evidence Subspace Projection: Measuring How Much Evidence Explains Deepfake Detection in Self-Supervised Speech Models

模型评测模型行为与机制分析

摘要

自监督学习 (SSL) 模型被广泛用作最先进的音频深度伪造检测的特征提取器,但目前尚不清楚如何直接定量地将 SSL 模型捕获的内容与检测决策联系起来。为了解决这一差距,我们提出了证据子空间投影,这是一种在由 SSL 模型的神经元激活模式构建的共享空间中表示证据因素(例如,攻击类别、编解码器、性别、传输)和真实性标签的方法。通过将决策向量投影到每个证据子空间上,我们获得了一个标量比,该标量比量化了每个证据类型的解释力。我们在多个数据集的原始、微调和训练后设置中评估 SSL 模型。结果证实了现有研究的结果,验证了所提出的方法,并揭示了对模型行为的新见解。