语言模型中的关系线性属性：实证研究

线性属性在语言模型的表示中无处不在；然而，对它们进行实验测试仍然是一项具有挑战性的任务。这项工作的重点是关系线性：假设对于固定关系（例如“演奏”），对象（例如“喇叭”）的未嵌入可以通过线性映射从其主题（例如“迈尔斯·戴维斯”）的嵌入来预测。我们提出了一种实验方法来测试 Marconato 等人提出的关系线性公式。 （2025）。具体来说，我们引入了一种基于 Kullback-Leibler 散度的探测方法来评估此属性并检查其跨层和释义关系查询的变化。也比以前的工作更有效率；例如，它避免了 Hernandez 等人在线性关系嵌入中使用的粗雅可比近似。 （2024）。我们在四个数据集中的研究结果表明，关系线性度因模型而异，表现出与模型表示中语言信息的先前观察一致的分层模式，并且受到关系措辞方式变化的不同影响。