论文
通过跨模式引导学习钢琴编曲的音乐风格
Learning Music Style for Piano Arrangement Through Cross-Modal Bootstrapping
摘要
什么是音乐风格？尽管经常使用“摇摆”、“古典”或“情感”等文本标签进行描述，但真正的风格仍然隐含并隐藏在具体的音乐示例中。在本文中，我们介绍了一种跨模式框架，该框架从原始音频中学习隐式音乐风格并将其应用于符号音乐生成。受 BLIP-2 的启发，我们的模型利用查询 Transformer (Q-Former) 从大型预训练音频语言模型 (LM) 中提取风格表示，并进一步应用它们来调节符号 LM 以生成钢琴编曲。我们采用两阶段的训练策略：对比学习，使听觉风格与符号表达相一致，然后是音乐编排的生成模型。我们的模型生成以主乐谱（内容）和参考音频示例（风格）共同调节的钢琴演奏，从而实现可控且风格上忠实的安排。实验证明了我们的方法在钢琴封面生成、风格转移和音频到 MIDI 检索方面的有效性，在风格感知对齐和音乐质量方面实现了实质性改进。