论文

SymphonyGen:以可控和声骨架驱动三维层次管弦乐生成

SymphonyGen: 3D Hierarchical Orchestral Generation with Controllable Harmony Skeleton

应用与实践内容创作

摘要

生成交响乐需要同时管理高级结构形式和密集的多轨编排,但现有的符号模型经常面临可扩展性和可操纵性之间的“复杂性控制不平衡”。我们推出了 SymphonyGen,这是一个用于当代管弦乐生成的 3D 分层框架,其级联解码器分解小节、音轨和事件轴,使解码内存远低于平面词元流,并在每个结构级别启用调节。节拍量化的多音高和声骨架可以由用户编写、分析或模型生成,提供“短乐谱”调节,在产生管弦乐纹理的同时实现轮廓控制。该模型通过针对 CLaMP 3 音频嵌入的跨模态声学奖励的强化学习进行了改进,并且避免不和谐的采样算法可以抑制推理过程中意外的音调冲突。客观评估表明,两种 后训练 机制都可以减少不和谐音,同时保持独立的旋律指标,并且在主观测试中,SymphonyGen 在质量和偏好方面的评级高于基线系统,在普通听众中显着如此。