重新混合音色：跨复调分轨的基于扩散的风格转移

音色转移旨在修改音乐录音的音色特性，同时保留原始旋律和节奏。虽然单乐器音色传输已经取得了实质性进展，但现有的多乐器设置方法依赖于单独传输管道，这些管道传播源分离伪影并在茎之间产生不连贯的合成音色。本文提出了 MixtureTT，据我们所知，这是第一个直接从复调混合物灵活传输每根音色的系统。给定每个目标声音的混合和单独的音色参考，MixtureTT 通过共享扩散过程将所有分轨联合传输到指定的乐器。对每个分轨内容和跨分轨谐波的依赖性进行建模，所提出的联合分轨扩散 Transformer 消除了级联分离误差，将推理成本降低了等于干数量的因子，并产生更连贯的多干输出。尽管在严格严格的输入条件下运行，但对 SATB 合唱数据集的评估表明，MixtureTT 在客观和主观指标上都优于单乐器基线，这证明了在简单的分离然后传输管道上进行专用多乐器音色传输的必要性。因此，这项工作证实了跨分轨建模对于混合级音色传递至关重要，因为所提出的联合设置始终超过等效的单干消融。