论文

轻动词还是完整动词?用于探测语言模型中的短语能力的最小对数据集

Light or Full Verb? A Minimal-Pair Dataset for Probing Phraseological Competence in Language Models

模型评测模型行为与机制分析

摘要

诸如“have”和“make”之类的常用动词既可以用作轻动词结构中的搭配,也可以用作完整的词汇谓词,例如“做出决定”与“制作蛋糕”。语言模型是否代表了这种区别,以及这种表示是否因语言而异,目前仍不清楚。我们引入了英语、西班牙语和法语的大规模受控数据集,其中包含变化最小的句子系列,其中相同的上下文在轻动词和全动词用法中包含相同的动词。两个探测实验表明,即使在最小的上下文中,语言模型也能区分这些用途,并表现出跨对象类型的可分离模式。我们将数据集、生成代码和材料作为可重用资源发布。该框架支持扩展到更广泛的上下文、附加动词和其他语言。