MuseTimbre：控制冻结音乐生成器实现零样本音色迁移

乐器音色转移使用另一种乐器的音色重新为演奏配音。从音频参考中提取目标音色比从文本提示中推断出更多细微差别。从此类剪辑中读取音色的系统会为该任务训练一个专用模型，该模型可以干净地捕获音色，但仍然是一个狭窄的单一用途系统。更通用的方法增加了对预先训练的音乐生成器的控制，但参考剪辑将音色与流派和旋律纠缠在一起，因此这些系统依靠文本来命名音色。据我们所知，我们推出了 MuseTimbre，这是第一个系统，它通过调节预训练的音乐生成器将音色从音频参考传输到复调源。该系统采用多音高估计器从源中提取音高信息，并微调 CLAP 编码器以从参考音频中提取音色信息。实验表明，在四个真实复调录音数据集上，MuseTimbre 实现了与基线一致的音高对齐，同时与参考音色更紧密地匹配。结果还表明，经过微调的基于 CLAP 的音色提取器对音高变化具有鲁棒性，使其在音色相似性测量中非常有用。