通过线性距离和相似性感知熵的视角来表示 LLM 中的语法

Hewitt 和 Manning 引入结构探针来根据神经语言模型的潜在表示重建句法树。它们是通过计算在带注释的语料库上正确重建的句法树边缘的比例来评估的（通过无向无标签附件得分来测量）。在这里，我们分解了这个衡量标准，考虑了按标签无向依恋评分（UASL），它分别评估每个句法关系的重建准确性，建立了重叠语言区别的关系之间的重要差异。此外，我们确定了两个因素来预测 UASL 跨关系的变异性：（i）相关词之间的线性距离（在对数尺度上）的平均值和离散度，以及（ii）句法关系头部的多样性（相似性感知熵）。这些结果适用于一系列模型大小和架构，揭示了语言模型中语法表示的抽象程度以及这种表示对嵌入空间的几何属性的依赖性。