后期 Transformer 层规范地重新编码语法：希腊加扰和跨层泛化的证据

探索研究已经证实，在早期和中间的 Transformer 层中，句法信息是可解码的，但这些信息在后面的层中会发生什么仍然知之甚少。我们将跨层泛化分析应用于在严格控制的最小对上评估的三个希腊语调整的 大语言模型：现代希腊语中的宾语相关结构，其中规范（主语-动词-宾语；SVO）和非规范（动词-主语-宾语；VSO）顺序仅在子句内词序上有所不同，同时保留命题含义。当在后期层 (20-31) 上训练的探针在每个早期层上单独进行测试时，它会产生低于机会的转移（集群校正，p<0.01），将 99.3% 的非规范句子分类为规范句子。探测系数在第 22 层周围反转，表明朝着规范形式进行定向重新编码，而不是简单的信息丢失。这些发现表征了后期 Transformer 层的表征格式变化，超出了句法解码能力的公认下降，并且它们使用相同的刺激为人类 EEG 和 MEG 解码研究生成了直接可测试的预测。代码和刺激可在 OSF 上公开获取。