PEACE：音效DSP代码与音频联合嵌入检索

本文提出PEACE，首次将音频效果代码与输出音频联合嵌入。基于SLAP多模态目标，把AFx-Rep音频编码器与两个Faust代码编码器配对；Faust是音频信号处理函数式语言。第一种是对源代码微调T5 Transformer，第二种是在编译器中间表示上消息传递的GNN，捕捉拓扑和UI参数。我们评估音频到代码检索，推断中遮蔽UI参数，使嵌入只编码效果链拓扑。参数可见时，两种代码编码器在混合长度链检索上持平，但单效果库存在取舍。参数完全遮蔽时，PEACE远高于随机地恢复有序链拓扑，且没有监督方法的限制。它在分布外混响检索上优于预训练模型，并能改善冻结纯音频表示。对拓扑和参数的双重理解，为能检索、生成及以DSP代码为条件的音乐信息检索系统奠定基础。