论文

SDIM:在基础音频嵌入中用 Sobolev 距离评估音色变形规律性

Sobolev Norms in Neural Embeddings Measure Audio Morphing Regularity

模型评测评测方法与指标

摘要

随着生成模型的出现,变形最近重新引起了人们的兴趣,特别是在音频和图像生成方面。在音乐声音合成中,变形可以在两个目标之间生成中间声音,帮助音乐家和音响工程师探索具有有趣感知特性的新声音。由于变形本质上是用感知术语定义的,因此评估这项任务具有挑战性。在这项工作中,我们引入了 Sobolev 理想变形距离 (SDIM),这是一种新颖的客观度量,用于量化感知相关音频嵌入空间中音频变形轨迹的规律性。利用基于物理的声音合成器,我们评估了 SDIM 在具有不同规律性的受控变形轨迹上的判别能力,并将其与现有的音频变形指标进行比较。结果表明,与最先进的指标相反,所提出的指标能够可靠地区分理想轨迹和对抗轨迹。