Break-the-Beat!：可控 MIDI 到鼓声音频合成

当前在数字音乐制作中创建鼓循环音频的方法（例如使用一次性样本或重采样）通常需要创作者付出巨大的努力。虽然最近的生成模型实现了高保真度并遵循文本，但它们缺乏此类任务所需的特定控制。现有的符号到音频的研究通常集中在单一的音调乐器上，而没有解决复调、打击鼓合成的挑战。我们通过引入“Break-the-Beat!”来解决这一差距，该模型能够使用参考音频的音色渲染鼓 MIDI。模型以所提出的内容编码器和混合条件机制微调预训练文本到音频模型而得。为了实现这一点，我们从现有的鼓音频数据集中构建了一个新的配对目标参考鼓音频数据集。实验表明，我们的模型生成遵循高分辨率鼓 MIDI 的高质量鼓音频，在音频质量、节奏对齐和节拍连续性等指标上实现了强大的性能。这为制作者提供了一种新的、可控的创意制作工具。演示页面：https://ik4sumii.github.io/break-the-beat/