规模决定语言模型是否组织表示几何进行预测

在语言模型中，表示编码的内容由其表示空间的几何形状决定：携带意义的是距离，而不是激活。现有工具描述了该几何形状的特征，但没有询问该形状的组织目的。我们引入了子空间 PGA，这是一种度量，用于测试层的距离结构与非嵌入矩阵 $W_U$ 的读出子空间的对齐程度是否高于与相同大小的随机子空间的对齐程度。在七个 Pythia 模型 (70M--6.9B) 和三个跨系列模型中，中间几何结构显着组织用于预测（峰值 $z = 9$--$24$），但程度取决于尺度：小模型 ($d \leq 1024$) 在训练过程中的后期层逐渐丢失它 - 即使损失不断改善 - 而大型模型 ($d \geq 2048$) 始终保留它。我们将其追溯到容量权衡：一些主导方向偏离 $W_U$ 的读数，掩盖而不是破坏下面的预测结构，删除它们可以恢复对齐。光谱指标和损耗曲线都没有体现出这种区别。因此，尺度不仅决定了模型的预测效果，还决定了其表示几何体的组织方式。