AURA：会话式音乐编辑的统一多模式框架

指令引导的音乐编辑器通常独立处理每个请求，这限制了他们支持用户逐步完善曲目的工作流程的能力。我们推出 AURA，一个用于对话式音乐编辑的统一多模式框架。 AURA 使用多模态大语言模型来解释完整的对话历史、可选图像和参考音频，将编辑意图提炼为紧凑的概念标记。概念到音频模块将这些标记和帧对齐的参考特征注入到冻结的 MusicGen 主干中，从而实现精确编辑，同时保留不受影响的内容。 AURA 仅优化 91M 参数，同时保留 1.9B 冻结主干参数。 Slakh2100 和 MoisesDB 上的实验表明，与现有指令引导方法相比，编辑正确性和内容保存方面有了显着改进，包括域外添加和删除的 FAD 减少了 4-5 倍。