当注意力关闭时：LLM如何在多轮交互中丢失线索

摘要

大语言模型能在单轮中遵循复杂指令，但在漫长的多轮交互中，它们常常丢失指令、人设和规则的线索。这种退化已在行为层面被测量，却未得到机制层面的解释。我们提出一种通道转变解释：定义目标的词元通过注意力变得难以获取，而与目标相关的信息可能仍存留于残差表示中。我们提出目标可及率（Goal Accessibility Ratio，GAR），衡量生成的词元对任务定义性目标词元的注意力，并将其与滑动窗口消融和残差流探针相结合。当对指令的注意力关闭时，幸存下来的东西揭示了架构差异。跨架构来看，这一转变产生性质上不同的失效模式：一些模型在注意力趋零时仍保持目标条件化行为，另一些模型尽管残差中存在可解码的目标信息仍然失败，而这种编码出现的层从2到27不等。一项模型内因果消融实验在Mistral中强制关闭注意力通道，使20条事实记忆任务上的召回率从近乎完美跌至11%，并在没有用户压力的情况下将人设约束违例提升到高于对抗压力基线的水平，两种效应都出现在可预测的交叉轮次。线性探针能从残差表示中恢复每个回合的召回结果，在全部四种主要架构上AUC最高达0.99，而输入嵌入仍处于随机水平。跨架构与模型规模，注意力损失与残差可解码性之间的差距可以预测目标条件化行为能否在通道关闭后幸存。我们贡献了GAR这一诊断指标、通道转变框架这一受控的机制性解释，以及窗口化注意力关闭下失效时机的参数化预测。

当注意力关闭时：LLM如何在多轮交互中丢失线索：论文配图 — 图 1：双通道框架。 (A) 从响应标记 ℛτ\mathcal{R}_{\tau} 到目标标记 𝒢\mathcal{G} 的注意力通道 𝒞attn(τ)\mathcal{C}_{\mathrm{attn}}(\tau) 随 τ\tau 衰减；响应位置的残差通道𝒞res(τ)\mathcal{C}_{\mathrm{res}}(\tau) 通过各层向前传递目标信息。 (B) GAR⁡(τ)\mathrm{GAR}(\tau) 在 τcross\tau_{\mathrm{cross}} 处穿过模型特定阈值 θM\theta_{M}；对于 τ≥τcross\tau\geq\tau_{\mathrm{cross}} ，对 𝒢\mathcal{G} 的直接关注被删除，因此幸存的目标相关信息必须间接携带（例如，通过剩余表示或介入上下文）。滑动窗口掩模给出确定性几何闭合准则 Rmin(τ)−Gmax≥WR_{\min}(\tau)-G_{\max}\geq W。