上下文阶梯：小初始化下词元嵌入的签名对齐动态

词元嵌入是将离散词元与语言模型中的连续计算连接起来的基本表示单元。尽管现代语言模型通过基于梯度的训练从随机初始化中学习嵌入，但有意义的嵌入结构出现的动态机制仍不清楚。在这项工作中，我们发现不断演变的嵌入结构与词元条件标签和上下文分布密切相关，我们将其形式化为概率签名。我们观察到一个渐进的学习过程，我们将其称为上下文阶梯：嵌入在高阶统计签名之前学习数据的低阶统计签名。更具体地说，我们观察到，在训练早期，它们与将词元链接到其标签的最简单的、上下文无关的签名保持一致，并且随着训练的进行，它们逐渐反映涉及越来越多上下文词元的签名。然后，我们分析小初始化下嵌入的梯度流来解释这种现象，推导前馈和自注意力架构的嵌入演化方程。我们进一步将这些观察扩展到真实语言 - 模型训练。最后，我们表明这些嵌入结构在任务学习和将语义结构纳入嵌入空间中都发挥着重要作用。总体而言，我们的结果提供了数据统计和架构如何共同塑造语言模型中的标记嵌入的动态解释，并揭示了数据统计空间中隐含的偏差：训练从更简单、低阶的统计关系转向日益复杂、依赖于上下文的统计关系。