接触是可选的：学习不同于语言模型中的协调

协调作为一种基本的语言结构，仍然是激烈争论的主题，其确切本质仍然是理论语言学的困惑。一种普遍的观点认为，只有同一类别的成分才能被连接，这受到了自然语言中许多语法不同的并列的挑战。将语言模型视为计算测试平台，我们研究了不同协调的获取是否需要直接暴露在训练数据中，或者是否可以从一般的组合能力中有机地出现。使用过滤语料库训练 (FiCT)，我们在语料库上训练 GPT-2 模型，其中所有不同协调的实例都已被删除。我们发现直接暴露是不必要的：在过滤后的数据上训练的模型成功地推广到不同的协调，实现了与在未过滤的文本上训练的模型相当的困惑度和语法判断。此外，我们对内部表示的分析表明，语言模型通过将连接元素视为属于相似的结构类别或通过类似于删除的机制来处理与协调不同的过程，这两种模型似乎都可以通过单独暴露于相似的协调来学习。这项工作有助于加深对语言模型如何在内部表示语言结构的理解，同时还通过展示模型如何概括和处理而不是直接暴露的协调，增加了关于协调的更广泛的争论。