Polyphonia：通过声学信息注意力校准实现复调音乐中的零样本音色转移

基于扩散的文本到音乐生成的进步为零样本音乐编辑开辟了新途径。然而，现有的方法无法实现特定于干的音色转移，这需要改变特定的干，同时严格保留背景伴奏。这种限制严重阻碍了实际应用，因为现实世界的生产需要对致密混合物中的组分进行精确操作。我们的主要发现是，虽然普通交叉注意力捕获了词干的语义特征，但它缺乏光谱分辨率来严格定位密集混合物中的目标，从而导致边界泄漏。为了解决这个困境，我们提出了 Polyphonia，一种具有声学信息注意力校准功能的零样本编辑框架。 Polyphonia 不是仅仅依赖于分散的语义注意力，而是在建立粗略边界之前利用概率声学，使非目标词干保留精确的语义合成。为了进行评估，我们提出了 PolyEvalPrompts，这是一个标准化提示集，包含和弦音乐中的 1,170 个音色转换任务。具体来说，与基线相比，Polyphonia 的目标对齐提高了 15.5%，同时保持了有竞争力的音乐保真度和非目标完整性。