语言模型用共享几何表示和转换概念

如何在神经网络中表示概念是机器学习中的一个基本问题。主流观点将概念表示视为静止的几何对象。然而，概念是在上下文中出现的，而上下文又会改变它们。从神经群体几何学中，我们将概念表示形式化为点云流形，将上下文变换形式化为向量场，并在 大语言模型 中实例化该框架。在六个不同规模的模型系列中，我们发现上下文对每个概念的影响不同。这些位移的变化是按语义组织的，与词汇的具体性和密度相关。重要的是，正在转换的概念和这种方差结构在模型之间共享：从一个模型传输的位移结构预测其他模型中保留的位移明显高于机会。总之，这些发现表明，模型不仅在概念的表示方式上共享共同的几何结构，更重要的是在上下文如何转换它们方面共享共同的几何结构，这是一种比之前的工作所认识到的具有更丰富组织的结构。