从文本指标到模型内部：耳语 ASR 幻觉检测的研究

ASR 模型的幻觉（没有音频基础的流畅转录）会降低系统性能并给下游应用带来风险。对此类错误的稳健检测仍然是一个挑战。本文研究了针对真实语音人类注释数据的 Whisper Large v3 幻觉检测，涵盖三种范式：基于文本、基于 LLM 和内部解码器状态探测。利用文本评估指标的文本分类器可以实现较高的召回率，但如果没有参考记录，其召回率就会降低。基于 LLM 的检测通过特定领域的提示条件提高了精度，但与基于轻量级文本的方法相比，竞争力仍然较差。在没有 真值 参考的情况下探测 Whisper 的解码器表示会产生最强的性能，揭示幻觉特征是跨中间解码层编码的。结合文本和内部状态输出的后期融合元分类器实现了最佳的整体检测性能。