神经语言模型中语法的线性表示

神经语言模型（NLM）是否具有根据语法区分字符串的能力仍然是计算语言学文献中争论的话题。现有的证据在很大程度上依赖于基于概率的测量，测试模型是否为语法字符串分配了比不语法字符串更高的概率。然而，基于语法性本质上与可能性纠缠在一起的假设，概率比较作为语法知识的衡量标准受到了批评。模型分配的概率是许多相关句子属性的函数，例如词汇频率、合理性和世界知识。在这项工作中，我们超越了基于概率的评估，并研究语法是否编码在 NLM 的内部表示中。使用质量均值探测，我们测试语法和非语法句子是否在表征空间中系统地分离。我们进一步研究这些表示在多大程度上独立于与语法相关的句子属性，以及它们在语法现象和语言中的泛化。我们的结果提供了证据，表明语法性在各种预训练 NLM 的句子表示中得到了稳健的编码，在语法维度上产生了清晰的表示分离，而这种分离无法通过替代句子级因素来完全解释。此外，这种编码泛化了广泛的语法现象，并且在某种程度上泛化了各种语言，这表明语法性构成了当代 NLM 中连贯的表征维度。这些发现为有关语言模型中句法知识本质的争论提供了新的证据，并为评估语法能力提供了一个补充框架，该框架不仅仅依赖于字符串概率。