论文

Text2Score:根据文本提示生成乐谱

Text2Score: Generating Sheet Music From Textual Prompts

应用与实践内容创作

摘要

由于对齐的文本音乐数据集的稀缺以及自动字幕管道的不可靠性,开发文本驱动的符号音乐生成模型仍然具有挑战性。虽然大多数努力都集中在 MIDI 上,但在文本驱动生成方面,乐谱表示形式在很大程度上尚未得到充分探索。我们提出了 \textit{Text2Score},一个两阶段框架,包括规划阶段和执行阶段,用于根据自然语言提示生成乐谱。通过直接从符号 XML 数据中导出监督信号,我们提出了一种基于字幕的训练的替代方案,可以绕过嘈杂或稀缺的文本音乐对。在规划阶段,LLM 编排器将自然语言提示转换为结构化的小节计划,定义乐器、调、拍号、和声等音乐属性。该计划指导执行阶段的生成模型根据其结构约束生成交错的 ABC 记谱。为了评估输出质量,我们引入了一个评估框架,涵盖可演奏性、可读性、乐器利用率、结构复杂性和及时坚持性,并得到了专家音乐家的证实。 \textit{Text2Score} 始终优于纯粹的基于 LLM 的代理框架和跨客观和主观维度的三个端到端基线。我们开源了本工作中使用的数据集、代码、评估集和 LLM 提示;我们的项目页面上提供了演示(https://keshavbhandari.github.io/portfolio/text2score)。