语言模型表示中假设的意识谱状态的可导航流形

在沉思、哲学和心理学的叙述中，人类意识通常被描述为类似的范围，从反应性和自我关注的模式到更加综合和连贯的模式。了解语言模型是否在表示空间中编码这样一个结构化的、人类可解释的意识谱对于模型指导、评估和对齐非常重要。在这项工作中，我们研究了 Transformer 嵌入空间中沿该谱的模式的几何结构和动力学。我们表明，嵌入表现出与该谱一致的全局组织的几何形状：与相似状态相关的句子聚集成局部连贯的区域，形成结构化流形。特别是，高层和低层区域表现出凸状稳定性，而中间区域则形成过渡走廊。动态地，效用引导的贪婪轨迹和仅几何贪婪的轨迹一致地从较低级别区域穿越到较高级别区域，穿过中间层，这表明可导航性是表示空间的固有属性，由全局方向信号引导但不决定。这些结果表明，嵌入空间编码与假设的意识谱分类学一致的结构化和可导航的几何学，广泛地受到沉思传统、哲学和现代心理学中人类意识的重复结构描述的启发，为分析和指导模型行为提供了表征层面的视角。