注意池的结构起源：方差差异、超级神经元和维度差异

尽管注意力池现象在 大语言模型 (LLM) 中普遍存在，其中初始标记不成比例地垄断了注意力分数，但其结构起源仍然难以捉摸。这项工作为这种现象提供了\textit{机制解释}。首先，我们将其根源追溯到自注意力固有的价值聚合过程，这会导致系统方差差异。我们进一步证明，前馈网络（FFN）层中超级神经元的激活会大大放大这种差异。具体来说，通道稀疏下投影触发了第一个词元表示的维度差异，需要形成注意力集中作为结构锚。然后，我们通过两个受控干预来验证这个因果链：（i）通过注意掩模修改来隔离聚合效应，以及（ii）放大目标词元表示的方差。两种干预措施都可以在任意位置复制注意力集中。我们对机理的理解为系统控制汇形成奠定了基础。最后，作为概念证明，我们提出 \textit{head-wise RMSNorm}，这是一种架构修改，可以稳定 预训练 期间的值聚合输出。我们的实验表明，恢复不同位置的统计奇偶性可以显着加速收敛。