词元表示的深度流是非线性的，并且不会降低其自身的密度

词元的表示通过网络逐层进行。整个词汇组合在一起形成了一个流。我们将此流的运动方程拟合为 Pythia-160M 和 Pythia-410M 语料库平均轨迹上的离散 Langevin 模型，并对保留的标记的预测步骤进行评分。线性贴图通常用作图层的廉价替代品。他们总结的流程不是线性的：在两个模型的每次转换中，二次漂移都击败了线性映射，并且无论其邻域保持在本地，Kramers-Moyal 估计器都一致。然后我们进一步描述该流程。首先，我们证明它不会降低自己的对数密度。相反，漂移降低了不是密度的势函数。其次，旋转分量不可忽略，可解释漂移的$4$到$45\%$，并且循环显示了流保留的内容：词元在所有十三层中保持其角度排序，而其范数排序被洗牌，并且其密度排序被最后一个区块反转。