Bagpiper-Edit：通过丰富描述进行零样本开放式音频编辑

摘要

当前的文本引导音频编辑方法依赖于配对训练数据、预定义的操作模板以及跨语音、音乐和声音的单独处理管道。我们推出 Bagpiper-Edit，通过自由形式的自然语言指令实现开放式音频编辑。我们通过将丰富的字幕视为音频剪辑的语义表示，将音频编辑重新表述为丰富的字幕重写任务。用户请求被转换为编辑后的字幕，然后引导 Bagpiper-Edit 生成目标编辑后的音频，并将原始音频作为上下文声学锚点。这释放了自由形式编辑的潜力，并避免了配对音频编辑训练数据的需要，从而实现了强大的零样本编辑功能。对语音、音频和自由格式编辑的评估表明，Bagpiper-Edit 与原始音频保持了良好的一致性，并且在大多数情况下实现了与其他专家模型相似的性能。演示：https://bagpiper-edit.github.io，代码：https://github.com/espnet/espnet/pull/6417 & https://github.com/HsunGong/espnet