论文
从人类语音基础模型迁移到动物发声的表示研究
Neural Representations, Natural Connections: What Transfers From Human Speech Foundation Models to Animal Vocalizations?
摘要
语音预训练模型在动物生物声学方面显示出了前景，但控制其跨物种转移的因素仍然知之甚少。我们评估了 15 个冻结编码器，涵盖单语言和多语言语音、说话者验证、动物生物声学和四个物种的呼叫者识别和三个物种的呼叫类型分类的一般音频。最强的语音预训练表示和动物预训练表示之间的差异范围从 $-0.027$ 到 $+0.119$ UAR；七种设置中的三种（$p<0.01$）的语音效果明显更好，而其余四种设置没有显着差异。受控比较显示，增加的语言覆盖范围或动物领域预训练没有系统优势，而冻结的说话者-验证嵌入的迁移效果很差。结果还表明，传输强烈依赖于层：原始波形模型较早达到峰值，而补丁频谱图模型峰值较深。
