分析语言模型嵌入空间中语言关系的线性

我们提出了一个框架来分析语言模型嵌入空间中线性编码的不同语言关系的强度。我们通过相关和不相关词对的约束线性近似来形式化线性编码，并将其应用于扩展的 BATS 数据集，涵盖 GloVe、RoBERTa 和 ModernBERT 中的屈折、派生、词典和百科全书关系。我们的实验表明，屈折和派生关系的线性编码近乎完美，但词典和百科全书关系的错误要高得多，尤其是一对多和多对多关联。我们还发现 RoBERTa 和 ModernBERT 通常比 GloVe 更线性地编码关系。这些结果表明，我们的框架可以揭示哪些关系结构在嵌入中最容易线性访问，从而提供了一个紧凑的工具来探测和比较模型之间的关系几何。