以最小的干扰持续忘却说话者的身份

机器取消学习从预先训练的模型中删除指定的概念或知识。最近的工作已将这种范式扩展到零样本文本转语音（ZS-TTS）中的说话者身份遗忘，即有选择地消除模型复制说话者声音的能力的任务。然而，现有的方法悄悄地假设所有忘记学习的请求同时到达；这是一个不切实际的假设，因为出于隐私原因的删除会随着时间的推移而依次出现。我们证明这种假设打破了最先进的方法：忘记学习每个新的说话人可以完全恢复以前忘记的说话人，重新引入忘记学习本来要消除的隐私风险。我们提出了累积正交身份抑制 (CORTIS)，这是 ZS-TTS 中持续学习说话人身份的第一个框架，不需要访问先前未学习的说话人数据。 CORTIS 结合了基于 Fisher 信息的参数掩蔽（将更新定位到与说话人相关的权重），以及针对先前未学习更新所跨越的子空间的正交投影。借助 VoiceBox，CORTIS 可以忘记每个请求的说话人，同时在长请求序列中保持先前未学习的说话人的遗忘，这大大优于先前方法的顺序应用。该演示位于 https://cumulativeortis.github.io/ 。