论文

通过音乐约束的序列编辑进行无参考歌声音调校正

Reference-Free Singing Pitch Correction via Music-Constrained Sequence Editing

模型训练应用与实践参数高效训练内容创作

摘要

现有的歌唱音调校正方法依赖于目标旋律或伴奏曲目,这在实践中可能不可用。我们将无参考歌唱音调校正制定为音乐受限的序列编辑任务,确定是否以及如何仅根据输入性能来校正每个音符。带有轻量级歌唱域适配器的预训练符号音乐编码器可生成歌唱 MIDI 的上下文表示。基于这些表示,两个轻量级校正头通过分解的音高编辑分布联合模拟校正必要性和带符号的音高修改。然后,从估计的调分布中导出的依赖于输入的音调先验对候选偏移进行重新排序,有利于在没有目标旋律或真实调注释的情况下进行音调兼容的校正。对真实配对的业余和专业歌唱录音进行的实验表明,该方法将音符级音高准确度从 73.25 提高到 83.43,比基于上下文的基线高出 3.99 个百分点,同时平衡纠错和 保存正确演奏的音符。