语言模型中序数表示的几何

最近的工作表明，语言模型表示弯曲一维流形上的字符计数，注意力头执行几何变换以实现计算。我们测试这是否可以推广到 Gemma-2-2B、Gemma-2-9B 和 Qwen3-4B 中的四个序数任务（括号深度、缩进、表格位置、数值大小）。我们发现具有位置单元特征平铺的一维流形出现在序数变量可从标记标识本地计算的任务中，而需要交叉位置积分或语义提取的任务会产生更高维或不连贯的表示。几何计算依赖于体系结构：Qwen3-4B 在压痕方面表现出比 Gemma 模型更强的扭曲，并且与数字扭曲器不同，它的扭曲器保留序数顺序。激活修补证实了所识别的流形子空间集中了任务相关信息，流形方向消融导致比随机方向控制显着更大的探针精度下降。