论文
关于使用稀疏自动编码器的 Whisper 编码的可解释性
On the Interpretability of Whisper Encodings Using Sparse Autoencoders
摘要
虽然基于 Transformer 的深度模型发展迅速，但其内部机制在很大程度上仍然是个谜。最近的工作优先考虑理解基于文本的 Transformer 模型，而 ASR 系统在很大程度上尚未得到探索。为了解决这个问题，我们使用稀疏自动编码器检查 Whisper 编码器的内部表示。我们发现跨越语言和非语言边界的多种单语义特征，跨越从语音到语义表示的层次结构，并在这个层次结构中进行因果特征引导活动，包括跨语言引导。我们进一步发现，对于较高级别的特征，引导比较低级别的特征更可靠，这种不对称性可能反映了较低级别信息的冗余编码。总而言之，这项工作表明 Whisper 的编码器代表了令人惊讶的丰富的语言信息层次结构，远远超出了转录严格所需的范围。