人类感知域的几何结构在LLM表示中的瞬态涌现

尽管大语言模型（LLM）仅用文本数据训练，先前工作已表明其内部表示可在嵌入空间中呈现丰富的几何结构。沿着这一研究脉络，我们考察这种结构是否与人类在不同领域（如颜色、音高、情绪和味觉）的感知组织相似。具体而言，我们研究在多个开放权重transformer架构的残差流中，与感知模态对应的内在几何结构的逐层涌现。我们的结果揭示三项关键发现。第一，尽管训练中不存在任何直接的感知监督，我们观察到逐层几何结构在多个感知域上的涌现。第二，这些感知域呈现出各异的涌现特征：几何结构及其与人类基线的对齐随深度遵循领域和模型特有的轨迹。第三，这种涌现遵循一致的表示轨迹：几何在早期层微弱或弥散，在中间层逐渐有序，在后期层被衰减，表明感知几何作为模型内部变换流水线的一部分而瞬态出现。这为类人感知几何在LLM中如何以及在何处产生提供了新见解，为内部表示的机制分析提供了一条有原则的路径。