指纹，而不是蓝图：位置方案如何设置默认的注意力谱代数

注意头的 pre-softmax 分数是学习算子 $M = W_q^T W_k$ 中的双线性形式 $score(i,j) = x_i^T M x_j$。由于 M 通常是非对称的，因此是非正态的，因此它具有复杂的特征谱和非正交特征向量，这是非厄米特和随机矩阵工具应用的范围。我们询问该频谱在前代词元和感应电路的三个级别上编码什么。静态地，在跨越三种位置方案的七个预训练模型中，最强的先前词元头在 RoPE 下是光谱旋转的，并且是非旋转的，或类似内容的，其中位置进入 QK 外部（学习绝对和 ALiBi）；模型级分离在每个 top-k 检查中都是完美的（精确排列 $p=0.029$），并且将每个频率 RoPE 相位 $Im(M_t)$ 归零可以消除所有三个 RoPE 模型中预先识别的先前词元头的感应。动态地，在公共 Pythia 检查点上，每个头都源自随机矩阵 (Ginibre) null；旋转特征随行为一起出现，而不是在行为之前出现，并且产生最终轮廓的群体中值抑制遵循电路形成，因此该轮廓是一个合并的指纹，而不是前体。从因果关系来看，在玩具规模上，不需要光谱通道：在每个禁令周围的受限两层训练重新路由，能力完好无损，尽管存在显着的形成延迟（四个预先注册的对比，$q_BH <= 0.016$）。成本结构暴露了每个方案的默认设置：强加对称性会使学习绝对模型的速度减慢 2.9 倍，而具有完全对称静态 M 的 RoPE 头仍然通过相位通道定向路由，这在绝对位置下是不可能的。在检查的设置中，位置方案设置了注意力头解决方案的默认谱代数：在函数之后雕刻的指纹，而不是对其的硬性约束。