论文
从分散到吸引:耳语模型尺度幻觉的光谱动力学
From Dispersion to Attraction: Spectral Dynamics of Hallucination Across Whisper Model Scales
摘要
大型 ASR 模型中的幻觉存在严重的安全风险。在这项工作中,我们提出了 \textit{光谱敏感性定理},它预测了深层网络中从色散状态(信号衰减)到吸引子状态(rank-1 崩溃)的相变,该相变由逐层增益和对齐控制。我们通过分析对抗压力下 Whisper 模型(Tiny to Large-v3-Turbo)中激活图的特征谱来验证这一理论。我们的结果证实了理论预测:中间模型表现出 \textit{结构瓦解}(制度 I),其特征是交叉注意力秩下降了 $13.4\%$。相反,大型模型进入\textit{压缩寻求吸引器}状态(制度II),其中自注意力主动压缩等级($-2.34\%$)并强化频谱斜率,将模型与声学证据解耦。