潜在傅立叶变换

我们介绍了潜在傅里叶变换（LatentFT），这是一个为生成音乐模型提供新颖的频域控制的框架。 LatentFT 将扩散自动编码器与潜在空间傅立叶变换相结合，以按时间尺度分离音乐模式。通过在训练期间屏蔽频域中的潜在特征，我们的方法产生可以在推理时连贯操作的表示。这使我们能够根据参考示例生成音乐变化和混合，同时保留所需时间尺度的特征，这些特征被指定为潜在空间中的频率。 LatentFT 与均衡器在音乐制作中的作用类似：传统均衡器在可听频率上运行以塑造音色，而 LatentFT 在潜在空间频率上运行以塑造音乐结构。实验和听力测试表明，与基线相比，LatentFT 提高了条件依从性和质量。我们还提出了一种单独聆听潜在空间中频率的技术，并显示不同的音乐属性驻留在潜在频谱的不同区域。我们的结果表明，潜在空间中的频域控制如何为调节和混合提供直观、连续的频率轴，从而推动我们走向更具可解释性和交互性的生成音乐模型。