论文
DisSR:用退化表示和跨域对齐恢复语音
DisSR: Disentangling Speech Representation for Degradation-Prior Guided Cross-Domain Speech Restoration
摘要
以往的语音恢复(SR)主要集中于单任务语音恢复(SSR),无法解决一般的语音恢复问题。针对不同的失真训练特定的 SSR 模型非常耗时且缺乏通用性。此外,大多数研究都忽略了跨未知领域的模型泛化问题。为了克服这些限制,我们提出了 DisSR,一种基于解耦语音表征的通用语音恢复模型,具有两个属性:1)退化先验指导,提取说话人不变的退化表征来指导基于扩散的语音恢复模型。 2)领域适应,我们设计跨领域对齐训练来分别增强模型对跨领域数据的适应性和泛化能力。实验结果表明,我们的方法可以在各种失真条件下产生高质量的恢复语音。音频样本可以在 https://itspsp.github.io/DisSR 找到。