论文
发展方法揭示了神经语言模型的统计学习：Transformer 从最抽象的统计模式进行概括
Developmental approach reveals the statistical learning of Neural Language Models: Transformers generalize from the most abstract statistical patterns
摘要
在这项研究中，我们使用发展方法来研究神经语言模型（NLM）的统计学习和心理表征。一系列生成式 Transformer 模型经过合成语法的训练。模型状态在训练过程中的多个阶段保存。通过分析这些模型的内部表示在发展路径中如何变化，我们发现NLM在学习之初获得最抽象的全局统计知识，随后获得相对局部的统计依赖性。这个学习路径从一开始就包含了很多过度概括，而这些过度概括在后期的学习中逐渐受到限制。基于这一观察，我们提出了一个新的框架来解释 NLM 的统计学习和语言认知。