论文
双 LoRA:用于跨语言说话人验证的参数高效的对抗性解开
Dual-LoRA: Parameter-Efficient Adversarial Disentanglement for Cross-Lingual Speaker Verification
摘要
跨语言说话人验证面临严重的语言说话人纠缠。这会导致最困难的情况下的系统退化:正确接受来自不同语言的同一说话者的话语,同时拒绝来自共享相同语言的不同说话者的话语。标准的对抗性解开会降低说话人的辨别能力;盲目判别器无意中惩罚了仅与语言相关的说话者区分特征。为了解决这个问题,我们提出了 Dual-LoRA,将可训练的任务分解 LoRA 适配器注入到冻结的预训练主干中。我们的核心创新是语言锚定对抗:通过将鉴别器置于明确的语言分支基础上,对抗梯度针对真实的语言线索而不是任意的相关性,从而保留基本的说话者特征。在 TidyVoice 基准评估中,我们的系统实现了 0.91% 的验证 EER,并在官方挑战赛中获得第三名。