关于深度线性 Transformer 中出现的多种动力学行为

我们通过相互作用的粒子系统的镜头研究仅深度线性编码器 Transformer 的推理时间行为。从这个角度来看，词元被建模为通过连续的线性自注意力层动态交互的粒子。我们表明，在嵌入第二维中，对于任何键、查询和值矩阵，动力学可以重新表述为具有纯二次谐波耦合的广义 Kuramoto 型模型。该公式符合 Watanabe-Strogatz 理论，该理论揭示了无论参数矩阵如何，动力学本质上都是低维的。对于与 Ott-Antonsen (OA) 流形相关的一类标记初始化，我们表明参数矩阵会导致线性 Transformer 中的多种长期行为，包括聚类、振荡和分叉。振荡和分岔的特点是揭示了动力学中隐藏的哈密顿结构。通过建立结构稳定性结果，我们进一步表明，在 OA 流形附近初始化的动力学表现出与在流形上精确初始化的动力学相同的长期行为。在我们的二维理论的推动下，我们对高维 Transformer 中的类似参数范围进行了数值实验。我们的数值实验表明，我们的理论结果中所描述的长期行为在更高的维度中持续存在。