大语言模型的格表示假设

我们提出了大语言模型的格表示假设：一个符号主干，为嵌入几何中的概念层次结构和逻辑运算奠定了基础。我们的框架将线性表示假设与形式概念分析（FCA）相结合，表明具有分离阈值的线性属性方向通过半空间相交产生概念格。该几何图形通过几何交集（交集）和连接（并集）操作实现符号推理，并在属性方向线性独立时采用规范形式。 WordNet 子层次结构的实验提供了经验证据，证明 LLM 嵌入对概念格及其逻辑结构进行编码，揭示了连续几何和符号抽象之间的原则性桥梁。