人类阅读和大语言模型处理中概念和参照中断的独特动态

摘要

语言意义以概念内容为基础，当词语进入话语时，对特定实体的引用就会出现。为了检查与这两个意义维度相关的处理动态，我们有选择地扰乱简短叙述中的概念或参考信息，并追踪人类自定进度的阅读以及大语言模型的预测和表征处理中所产生的影响。在人类阅读中，概念中断产生了强大但局部的处理成本，在扭曲的单词之后立即出现，达到早期的最大值，然后迅速下降。指称干扰产生的影响较弱，在后续单词中逐渐减少，并且受到句子边界的更强烈调节。在语言模型中，两种破坏都立即出现在被操纵的单词上。语境模型的惊讶表现出一种与人类阅读非常相似的模式：概念破坏产生了更大、更局部集中的效应，并迅速衰减，而参照破坏则产生了更小、更渐进的下游效应。输出层表示显示出不同的模式：参照破坏产生了更大的初始位移，而两种扭曲随后都以幂律衰减为特征。总之，这些结果为两种意义的可区分处理动态提供了收敛证据：概念信息施加了更加局部集中的整合成本，而参考信息则参与了维护话语级身份的更加分布式的过程。