论文
超越任务表现:用语音特征解码生物声学嵌入
Beyond task performance: Decoding bioacoustic embeddings with speech features
摘要
预训练的音频嵌入是生物声学中的标准,但人们对这些模型编码哪些声学特征以及哪些对给定任务有用知之甚少。这阻碍了透明度并限制了对稀有物种或数据稀缺领域的扩展。在这里,我们揭示了哪些类似语音的特征被编码在生物声学表征中。使用跨六个分类组的 88~eGeMAPS 特征,我们应用线性和非线性回归探针来量化每个模型捕获的声学属性。结果证实了“没有免费的午餐”模式:没有一个模型能够捕获完整的特征空间。串联嵌入实现了最高性能,表明模型之间具有互补的声学空间覆盖。响度特征最好进行编码 ($R^2 = 0.76$),而 F0 最难恢复 ($R^2 = 0.33$)。通过交叉引用可恢复性与每物种特征显着性 (NMI),我们得出了数据驱动的生物声学模型选择指南。