论文

RF-Prompt:随着伪造演化持续学习音频检测

Learning as Deepfakes Evolve: RF-Prompt for Continual Audio Deepfake Detection

模型训练持续学习

摘要

持续音频伪造检测需要学习新出现的伪造方法,同时保持对以往遇到的语音的辨别能力。现有按数据集增量开展的评估,同时改变真实语音领域和伪造机制,难以区分两者的影响。我们在相同训练、开发和评估样本池上构造五种任务组织方式,在受控样本预算下研究这些因素。我们提出以真实语音为锚点的机制增量(RAMI)协议,反映真实语音作为重复出现的混合领域参考、新伪造机制逐步到来的实践设置。进一步提出RF-Prompt,一种非对称持续提示学习方法:通过共享真实语音提示保留可复用知识,并通过继承的伪造专家及正交残差扩展机制专用知识。输入自适应的软融合,将累积专家组合为固定数量的注入词元,推理时无需任务身份。在RAMI上,RF-Prompt取得10.110%的平均EER和10.370%的汇总EER,优于全部受评持续学习基线。在五种受控协议中,RAMI的共同平均EER及汇总EER最低。组件消融、有限数据实验和跨骨干评估进一步验证了所提设计。