不断变化的语法几何：跨 Transformer 层的维度和邻域重组

Transformer 表示描述通过高维向量空间的轨迹，这些轨迹随着词元合并跨层的关系上下文而动态成形。此类数据往往集中在低维子流形上，这是一种通过内在维度 (ID) 量化的压缩形式，即表示它们所需的最小自变量数量，而不会造成重大信息损失。在这项工作中，我们询问标记的语法角色（由其词性（PoS）标签标记）是否塑造了该流形的局部几何形状。为此：（1）我们研究了ID的分层演化，发现封闭类项目比开放类项目更早扩展和更早崩溃； （2）我们表明它的扩展和收缩可以通过邻域结构的变化来解释，从而通过句子中单词之间的关系来解释； （3）我们比较了编码器（ModernBERT、bigbird-roberta-large）和解码器（gemma-2-2B、Llama-3.2-3B），发现这两个系列跨层的演化方式不同，与各自集成上下文的方式一致；（4）我们证明几何特征单独恢复了标记的语法角色，并使用它们来解释每个 PoS 的语义内容在下游分类任务中如何跨层演化。