注意力索引模型的高维学习动态

注意力机制是现代基础模型的核心，但它们的训练动态仍然知之甚少，特别是当注意力矩阵具有广泛的等级时。在这项工作中，我们研究了注意力索引模型，这是一个可以表示多层和多头注意力架构的广泛框架。首先，我们表明，在合适的高维限制下，人口流失景观由一组有限的迹序参数来表征。相比之下，在线随机梯度下降（SGD）由无限层次的矩阵矩控制，我们证明它可以通过有限截断系统以指数方式很好地逼近。其次，该框架揭示了注意力参数化本身可以充当架构隐式偏差。直接优化注意力矩阵 $S\in\mathbb{R}^{d\times d}$ 可能会陷入无信息状态。绑定注意力 ($S=WW^\top$) 会引发自动对称破缺机制，并在 $θ(d^2\log d)$ 样本中产生较弱的恢复。对于不受约束的注意力，$S=UV^\top$，我们发现了一种快慢机制：预激活均值首先在快速时间尺度上演化，而重叠在较慢的时间尺度上演化。当快速动力学选择的状态打破初始对称性时，$θ(d^2\log d)$ 尺度上的弱恢复就会发生。