大语言模型 中下一个词元预测的几何视角：三个新兴阶段

我们研究了 大语言模型 (LLM) 各层预测信息的几何结构。我们重新利用表示透镜学习的仿射图来预测中间残差流中的下一个标记，作为几何诊断工具。我们不是询问模型在每一层预测什么，而是询问预测信息位于何处以及它如何在深度上演变。我们在每一层定义一个预测读出子空间作为 d 维残差流上此类映射的主要 k 维奇异子空间（其中 k 是分辨率参数），并跟踪其在格拉斯曼流形上的轨迹作为跨层的相似性轮廓。单峰分布很好地描述了该剖面，表现出上升、接近平台和下降；将 k 从 d 的 1% 变化到 50%，可追踪可见性和能量保留之间的帕累托边界，但在所有尺度上都会出现相同的结构。在两个系列（Qwen2.5 和 OLMo2、1B-32B）的八个模型中，我们确定了三个几何相。更新自始至终与残余流近似正交；这些阶段的区别在于它们对有效等级的影响，即扩展、稳定和集中。在第一个阶段，播种复用、前馈记忆和注意力层以特定于家族的比例叠加候选集，最终词元作为领先候选者从该阶段的 20% 位置上升到 35%。在第二个中，提升覆盖，更新覆盖现有子空间以集中候选分布而不扩展排名。在第三个“焦点收敛”中，高能低秩更新将获胜者写入与非嵌入方向一致的形式。第 1 阶段和第 3 阶段随着模型深度缓慢增长，而第 2 阶段则线性扩展。更深层次的 LLM 的额外容量很大程度上被候选消歧所吸收。