测量语言模型中的形式和功能

我们引入了儿童语言习得的定量指标来评估语言模型。我们的重点是英语限定词的形式句法和功能性话语属性，幼儿能够尽早且准确地掌握这些属性。我们提出了语境替代选择（CAC），这是一种新的提示方法，为语言的句法和话语知识提供有针对性的测试。该方法可以将语言模型与儿童进行直接比较，更重要的是，可以与实证研究中独立建立的统计基准进行比较。当前没有一个模型在相当数量的数据上进行训练，可以像人类儿童一样同时满足形式和功能基准，但一些非常大的模型可以做到。我们将我们的结果呈现为方法论和技术贡献，特别强调语言模型的认知状态。