语言模型学习构造语义，更不用说语法了：研究 LM 对配对焦点构造的理解

掌握罕见结构（形式-意义配对）的语义已被证明是一个具有挑战性的问题，目前只有最大的 LLM 才能解决。开源模型是否具有强大的结构性理解仍然是一个悬而未决的问题，如果是的话，获取这些知识的基础是什么学习动力。专注于英语中一组罕见的配对焦点结构（例如“let alone”、“much less”），我们构建了一个新颖的数据集，使用标量形容词语义和一般世界知识来测试它们的含义。通过测试参数数量、架构和预训练数据集大小不同的各种模型，我们发现几个中等大小的模型对配对焦点结构的形式和含义都很敏感，尽管在人类规模数据上训练的模型在所有含义评估上都失败了。转向一组开放检查点模型的训练动态，我们发现配对焦点理解在训练中出现得晚于配对焦点句法知识，并且配对焦点语义的学习与世界知识某些领域的增益相关。总的来说，我们的实证结果支持这样的结论：适度规模的开源模型可以掌握罕见的配对焦点结构，并证明配对焦点结构知识与其他意义领域之间的联系。