论文
FlowSonic:通过高阶轨迹集成实现稳定的零射击音乐编辑
FlowSonic: Stable Zero-Shot Music Editing via High-Order Trajectory Integration
摘要
对现实世界音乐录音进行零镜头文本引导编辑需要在语义修改与忠实保留原始音乐结构之间取得平衡。尽管最近使用校正流训练的扩散 Transformer 在文本到音乐生成方面取得了显着的成功,但将其扩展到编辑现有录音仍然具有挑战性,因为编辑需要准确的确定性反演、可靠的结构保存以及整个反演和生成过程中的数值稳定集成。我们提出了 FlowSonic,一个零样本音乐编辑框架,建立在经过修正流训练的预训练扩散 Transformer 之上。 FlowSonic 首先确定性地将现实世界的录音反转到潜在空间,并通过重用反转期间提取的交叉注意力表示来在编辑过程中保留其音乐结构。为了提高基于反演的编辑的数值可靠性,我们引入了高阶 ODE 求解器,并系统地研究了不同的数值积分方案如何影响轨迹稳定性、结构保存和语义可控性。关于音色转移和流派修改任务的综合实验表明,FlowSonic 在语义对齐、和声保留、结构一致性和感知音频质量方面始终优于现有的音乐编辑方法。我们进一步提供几何和实证分析,展示所提出的数值积分策略如何提高潜在轨迹稳定性并导致更可靠的音乐编辑。