论文
多层注意力探测改善了生物声学的音频表示传输
Multi-layer attentive probing improves transfer of audio representations for bioacoustics
摘要
探测头将机器学习模型从音频中学习到的表征映射到下游任务标签，是评估表征学习的关键组成部分。大多数生物声学基准测试使用固定的低容量探针，例如最终编码器层上的线性层。虽然这种标准化可以进行模型比较，但它可能会因忽略编码器功能和探针设计之间的相互作用而使结果产生偏差。在这项工作中，我们系统地研究了两个生物声学基准（BEAN 和 BirdSet）的不同探测策略。我们评估线性和注意力探针的最后一层和多层探测。我们证明利用时间信息的较大探头具有卓越的性能。我们的结果表明，当依赖最后一层探测设置时，当前的基准测试可能会歪曲编码器的质量。多层探测提高了所有测试模型的下游任务性能，而注意力探测的性能优于 Transformer 模型的线性探测。