基于 Transformer 的声学模型中的稀疏权重和边缘电路发现

基于 Transformer 的基础模型功能强大但不透明，激励机械解释方法通过识别负责任务的小型计算子图来揭开黑匣子。 DiscoGP 是最初为文本解码器开发的联合权重和边缘电路发现框架。我们将 DiscoGP 扩展到语音编码器，并据我们所知，提出了第一个针对现代语音基础模型的电路发现研究。在 HuBERT 和 Wav2Vec 2.0 的多个语音分类任务中，我们发现所发现的电路非常紧凑，但通常可以匹配甚至超过具有相同下游头的完整预训练编码器的性能。通过消融，我们表明这些电路反映了预训练的计算，而不是随机结构或任务头工件。我们还引入了一种内存高效的 DiscoGP 变体，可将运行时边缘电路发现的 GPU 内存成本从四次降低到三次。总的来说，我们的结果拓宽了文本解码器之外的机械解释，并表明电路级分析可以揭示语音编码器中的解释结构和意外的功能行为。