LLM不是随机鹦鹉：从类似 conlang 的任务中进行意义介导的抽象的证据

随机鹦鹉学说的强版本声称，尽管大语言模型（LLM）可能超过死记硬背，但它们无法超越统计模式匹配而进入抽象或推理，尽管产生了诱人的流畅文本，但在本体论上仍然接近模式重用的下限。我们使用类似 conlang 的任务来测试这个假设。一些LLM只获得了虚构语言的自然语言描述，通过结合统计上不常见和未经证实的特征，颠覆了训练数据中突出的表面模式。至关重要的是，没有给出示例输出。我们认为，如果模型表现出遵循规则的行为，那么它们就不能仅仅依赖于肤浅的统计模式；这种模式通常不利于正确的输出。相反，成功的性能需要提示中指定的约束的表示。在三个互补的任务族中，模型系统地朝着意义预测的方向发展：它们区分即时暴露和指导使用，根据新的约束改变语义关系，有时会产生与复杂翻译答案键的精确匹配。尽管不同模型的表现各不相同，但这些结果为LLM中意义介导的抽象提供了证据，并反驳了强随机鹦鹉学说。我们的工作表明，在适当的架构和上下文限制下，统计学习可以产生以意义为中介的抽象，尽管生成仍然受到表面合理性的强烈限制。我们讨论模型开发的含义以及理解如何从合理的文本生成目标中出现越来越抽象的表示。