关于注意力头和双线性形式

我们研究训练有素的大型语言模型的注意力头中双线性形式的对称和反对称部分。我们引入了从实数双线性形式到三维单纯形的正交不变轮廓图，并观察到经过训练的双线性形式的轮廓在秩一双线性形式的轮廓附近累积。我们证明，注意力头中双线性形式的对称部分是查询键矩阵的 Zariski 密集子集的双曲形式和零形式之和。