通过具象的镜头探索具体性

静态具体性评级在 NLP 中广泛使用，但单词的具体性可能会随着上下文而变化，尤其是在隐喻等比喻语言中，常见的具体名词可以采用抽象解释。虽然这种转变从上下文中显而易见，但目前尚不清楚 LLM 内部如何理解具体性。我们对四个模型系列的 LLM 隐藏表示进行了分层和几何分析，检查模型如何区分同一名词的字面和比喻用法，以及如何在表示空间中组织具体性。我们发现 LLM 在早期层中将文字和比喻用法分开，而中后期层将具体性压缩为跨模型一致的一维方向。最后，我们表明这种几何结构实际上是有用的：单个具体方向支持有效的比喻语言分类，并使 无需训练 能够转向更字面或更比喻的重写。