关于 Softmax 注意力的不变量

Softmax 注意力将每个查询-关键交互映射到概率分布中，但底层结构在很大程度上仍未被探索。我们定义了 \emph{能量场}，即以行为中心的注意力 logits，并表明它在模型、架构和输入之间表现出不变的属性。出现了两类不变量。 \emph{机制级} 不变量遵循 softmax 注意力的代数结构。它们包括每行零和约束、由头部尺寸确定的等级界限以及由此得出的光谱特征。该机制不需要 \emph{模型级} 规则，但它在我们测试的每个自回归语言模型中都适用，跨越多个架构系列。能量场将其变化分布在关键位置上，而不是集中在少数几个位置上。这种离域可以追溯到密钥矩阵的一个属性，我们称之为\emph{密钥不连贯}。这些不变量具有实际后果。等级界限将能量场限制在低维子空间内。按键不连贯会产生每个人的训练监视器。所有结果均在多个上下文长度和输入文本下进行验证。