论文

课程学习下什么样的语言容易语言建模?

What Kind of Language is Easy to Language-Model Under Curriculum Learning?

模型评测模型能力评测

摘要

数千种经过验证的语言中的许多语言都具有共同的特征配置,形成了从类型学上非常罕见(例如,宾语-动词-主语词序)或不可能的语言到非常常见的特征组合(例如,主语-宾语-动词词序)的范围。一个核心问题是在什么条件下可以预测这种类型倾向,特别是语言模型(LM)的学习偏差是否足以重现这种模式。在这项研究中,我们为此类分析添加了一维——语言模型的学习场景——以探索其与语言模型归纳偏差的相互作用。具体来说,作为第一项研究,我们检查了课程学习(CL)的效果,作为一种发展动机的学习场景,即从更简单的句子而不是随机排序的输入开始。我们用简单的 CL 变体扩展了现有的基于 LM 的探索(El-Naggar et al., 2025a,b),发现 CL 极大地影响了 LM 的表观归纳偏差。