Smorph：可玩的声音变形与扩散模型

声音变形，生成从一种声音特性过渡到另一种声音特性的中间声音，可以成为音乐声音设计的强大工具。现有的基于扩散的变形方法将时间结构和音色特性纠缠在一起，没有提供在改变另一个的同时保持其中一个固定的机制。我们推出了 smorph，一个无需训练指导框架，它可以保留声音随时间变化的行为方式，同时改变声音的内容，允许用户进行变形，例如以固定音高从铜管乐器到弦乐。我们演示了三种变形模式：提示到提示、音频到提示和音频到音频。对不同数据集的评估表明，smorph 有效地产生了平滑的变形轨迹，同时在基线上显着改善了时间结构和源保留，尽管在某些设置中具有更保守的目标方向转换。在一项探索性案例研究中，音乐家发现 smorph 轨迹具有表现力和可演奏性，这表明结构锚定可以作为乐器交互的有效约束。