Null 词元知道：减少 ASR 和 NMT 中的无消息幻觉

现代编码器-解码器系统即使在其输入不包含可恢复消息的情况下也可以生成流畅的文本。我们通过模型保留的空标记来研究 ASR 和 NMT 中的这种失败，询问结束生成的分数是否已经带有可用的弃权信号。在语音识别器和翻译模型中，我们审核本机空标记分数和标量 logits 移位。在 Whisper 中，我们还探测解码器状态并将监督行编辑与传统外门进行比较。评估的模型通常会暴露出有用的弃权信号，但股票解码并不能可靠地对其起作用。提高空标记分数可以极大地抑制捏造行为，但积极的干预也会删除有效的语音或缩短合法的翻译。这些发现将空标记变成了幻觉的诊断镜头，并激励通过抑制和删除成本来评估弃权方法，而不是仅仅通过减少幻觉。