大语言模型 隐藏态的双曲图谱

LLM 隐藏状态是普通向量，但这些向量之间的距离仍可能呈现层次结构。据我们所知，本文是第一个系统研究当代 LLM 中的提示标记隐藏状态是否表现出格罗莫夫双曲性（GH），这是一种基于距离的树相似性度量。使用来自 MATH500、HumanEval、WinoGrande 和 TruthfulQA 的 10 个开放权重模型的 818,904 个样本层测量值，我们在四个轴上构建了 GH 映射：参数尺度、层深度、模型族和输入域。最清晰的模式是深度，而不是规模：中间层通常形成相对高的双曲性平台，而最后层通常变得更像树状。尺度效应较弱且非单调，匹配的 7/8B 模型族差异很大，领域与模型专业化相互作用。这些发现使得 GH 作为一种实用的诊断方法非常有用：它显示了层次距离结构出现的位置、专业化如何改变它，以及哪些模型-层-域比较值得更仔细的分析。