Transformer 深度的残余流几何分析

我们提出了 Transformer 残余流的以转换为中心的几何分析。相对位移测量 \emph{far} 表示如何在连续层之间移动，正交 Procrustes 分析将每个转换分为刚性旋转和非刚性残差。在代码生成和跨语言翻译的六个指令调整模型中，这些测量揭示了可再现的深度规律。相对位移强烈依赖于层；通常早期和晚期较大，中间三分之一较安静；并且在每个模型内的条件下几乎不变。旋转幅度在整个深度上几乎恒定，而 Procrustes 残差和角度集中保持深度调制，在最终转变时残差达到峰值。在生成过程中，非英语目标比英语目标表现出更大的最终层位移和残差。我们将这些作为描述性几何规律来呈现，而不是作为计算工作量或因果解释的度量。其贡献是残余流转变的测量框架和证据，表明在这里研究的设置中，深度曲线依赖于模型并且在很大程度上是条件稳定的。