论文

伪装的范例:纯范例模型模仿抽象优先学习

Exemplars in Disguise: Pure Exemplar Models Mimic Abstraction-First Learning

模型评测评测方法与指标

摘要

特殊的、特定于项目的知识是否是在抽象的类级概括之前学习的,反之亦然,是语言学习中的一个核心问题,基于范例和基于抽象的理论做出了相反的预测。最近的方法声称表明,至少对于 大语言模型,首先学习抽象知识。我们证明了这些方法的不足:按照相同的标准,没有抽象表示的纯记忆模型可以首先学习特定于项目的知识或类级别的知识,具体取决于它们对个体观察的敏感性,其中过渡点由输入的分布属性控制。我们进一步认为,对于分布式表示,特定项目知识和抽象知识之间的区别可能是不明确的,因为单词的类级属性可能与其特定项目属性不可分离。