使用注意力图在推理时检测 SpeechLLM 中的幻觉

言语幻觉 大语言模型 (SpeechLLM) 会带来重大风险，但现有的检测方法通常依赖于金标准输出，而获得这些结果成本高昂或不切实际。此外，为基于文本的 LLM 开发的幻觉检测方法并不直接捕获音频特定信号。我们研究了四种注意力衍生指标：AUDIORATIO、AUDIOCONSISTENCY、AUDIOENTROPY 和 TEXTENTROPY，旨在捕获与幻觉相关的病理性注意力模式，并根据这些特征训练轻量级逻辑回归分类器，以实现高效的推理时间检测。在自动语音识别和语音到文本翻译任务中，对 Qwen-2-Audio 和 Voxtral-3B 的评估表明，我们的方法在域内数据上优于基于不确定性和基于先验注意力的基线，实现了高达 +0.23 PR-AUC 的改进，并推广到域外 ASR 设置。我们进一步发现，使用大约 100 个注意力头可以实现强大的性能，与使用所有注意力头相比，可以提高域外泛化能力。虽然有效性取决于模型并且需要针对特定​​任务的训练，但我们的结果表明，注意力模式为 SpeechLLM 中的幻觉检测提供了有价值的工具。