在局部比较上训练的Transformer中涌现的序数几何

传递推理是通过仅知道相邻关系（A < B，B < C）来推断 A < C 的挑战。人类和动物不是通过逻辑链接而是通过模拟心理数轴来解决这个问题，其特征是符号距离效应：远处的比较比近处的比较更容易。我们询问 Transformers 是否获得相同的原语，仅根据隐藏全序的相邻比较来训练小模型，并评估对看不见的遥远对的泛化。我们发现，分布外泛化伴随着惊人的几何重组而出现：实体嵌入崩溃到一维流形上，其主轴以近乎完美的保真度恢复隐藏的排序顺序，并且这种结构对优化敏感，从而产生类似神探般的瞬态动态。至关重要的是，即使准确性达到上限，决策置信度和几何分离也随着等级距离单调缩放，直接反映了在人类、灵长类动物和啮齿类动物的数十年行为实验中观察到的符号距离效应。这些结果将 50 年来的行为规律植根于学习表征的几何学中，为连接认知科学和现代神经网络的传递推理提供了机械解释。