论文
语言模型中的层次概念几何源于单词共现
Hierarchical Concept Geometry in Language Models Emerges from Word Co-occurrence
摘要
我们提出了一种关于上位关系（一般概念和特定概念之间的“是”关系）如何在语言表示中以几何方式编码的分布理论。从经验验证的假设开始，即 WordNet 上位词图上更接近的单词同时出现的频率更高，我们从理论上描述了 word2vec 嵌入的所得嵌入 Gram 矩阵的频谱。在共现核的温和正性和衰减条件下，我们证明主要特征向量首先分离广泛的分类分支，然后逐渐分离更细的子分支，产生具有反映树的从粗到细的光谱组织的 \emph{层次分裂几何}。我们在许多采样的 WordNet 子树的 word2vec 嵌入中证实了这些预测，并表明相同的签名可以很好地扩展到 Gemma 2B 非嵌入。我们的结果表明，LLM 中的层次概念几何不需要反映层次特定的功能机制，而是从成对词统计的谱结构中产生。