RIME：实现大规模代理音乐后期制作

几乎您听过的每首录制音乐在到达您手中之前都经过了修改；商业发行很少能完全由音乐家的头脑形成。尽管音乐生成模型承诺一次性输出，但这种细粒度的迭代细化工作流程是一个补充问题，并且很大程度上超出了他们的能力范围。音乐家也存在差距：虽然他们可以表达他们想听的内容，但并非所有人都具备工作室制作工具来实施实现这些直觉所需的复杂动作集。我们将这项任务正式化为代理后期制作，其中曲目的各个方面都有针对性、完善并组合成最终版本。我们认为瓶颈在于数据：现有的语料库无法反映现实的后期制作链如何映射到音乐家和工程师实际使用的词汇上。我们观察到有一种用于修改录制音乐的语言，该语言是密集的、一致的且可学习的。为了利用这一点，我们引入了基于规则的音乐编辑指令 (RIME) 框架，该框架可以从基于规范方法、设计模式和源自实际制作工作流程的约束的任何基线音乐数据集中生成真实的配对编辑指令数据。 RIME 利用 POEMS，这是一个结合了主干分离、混合和常见工作室效果的工具包，供多模式代理使用。我们使用 POEMS 和 RIME 生成 15,000 对编辑指令和 真值 音频，然后使用这些数据来评估作为此任务代理的现有多模态 LLM，揭示当前模型中持续存在的局限性。我们还展示了 RIME 通过对合成数据进行监督的 微调 来提高后期制作代理性能的能力。我们将 RIME 视为迈向迭代音乐代理和协作系统的一步，它可以改变音乐制作，就像交互式 编码智能体 重塑了软件工程一样。