论文

以交叉注意力控制预训练音乐Transformer的钢琴家风格

Learning Jazz Pianist Style with Cross-Attention Conditioning

模型训练监督微调与指令调优

摘要

爵士钢琴家有鲜明特征,有经验听众常在数秒内辨认,但其特征难以形式描述。我们通过预训练符号音乐Transformer研究风格,表明所学表示已足以在两个基准中高准确率分类钢琴家身份。随后加入对已学习钢琴家身份嵌入的交叉注意力,使生成按指定艺术家风格进行。两项评测确认生成器捕捉有意义风格:滑窗分类器持续将条件续写归给正确艺术家,明显超过无条件基线;只在合成生成上训练的分类器,在12类真实钢琴家上获得87%片段级和95%歌曲级准确率。最后,用分类器定位演奏中最具特征的时刻,揭示区分各钢琴家声音的具体音乐动作。