通过隐藏表示引导和稀疏自动编码器进行耳语幻觉检测和缓解

Whisper 是一种广泛采用的 ASR 模型，众所周知，它会产生幻觉 - 为完全与输入断开的非语音音频生成连贯的转录。我们研究是否可以通过 Whisper 的内部表征来检测和减轻幻觉。我们提取音频编码器激活并评估两个表示空间：原始 Whisper 激活和稀疏自动编码器 (SAE) 潜伏。我们表明，这两个空间都编码线性可分离的幻觉相关信息，区分能力集中在稀疏特征子集中，并向更深的编码器层增加。我们提出了两种转向策略：激活空间转向和 SAE 潜在空间转向。在完整的非语音测试集上，基于 SAE 的转向将 Whisper Small 的幻觉率从 72.63% 降低到 14.11%，将 Whisper Large-v3 的幻觉率从 86.88% 降低到 27.33%，语音数据的 WER 降级较小，接近基于 微调 的方法的性能。