大语言模型中特征空间的语义结构

我们表明，大语言模型 隐藏状态中语义特征之间的几何关系密切反映了人类的心理关联。我们构建了与 360 个单词相对应的特征向量，并将它们投影到 32 个语义轴上（例如美丽-丑陋、软-硬），并发现这些投影与人类在各自语义尺度上对这些单词的评分高度相关。其次，我们发现语义轴本身之间的余弦相似性可以高度预测调查中这些量表之间的相关性。第三，我们表明 32 个语义轴上的显着差异存在于低维子空间上，再现了人类语义关联的典型模式。最后，我们证明，在一个语义轴上引导一个单词会导致该单词在其他语义尺度上的模型评级产生溢出效应，与这些语义轴之间的余弦相似度成比例。这些发现表明，不仅应该孤立地理解特征，还应该通过它们的几何关系和它们形成的有意义的子空间来理解特征。