使用 LM 对句子理解过程中上下文和共指的影响进行建模

语言模型 (LM) 通常用作人类语言处理建模的工具。最近的研究表明，严格限制 LM 的上下文窗口可以通过模拟人类工作记忆限制来提高其对人类心理语言数据的拟合度。然而，这种严格的记忆衰退方法可能忽视了人类对远程结构表征（例如话语结构）的依赖。在这项工作中，我们在四个大型自然英语阅读时间数据集中系统地改变了 GPT-2 的上下文窗口大小，并观察到 ​​U 形关系：尽管受限上下文（< 20 个标记）成功捕获了本地记忆限制，但扩展上下文（500--1,000 个标记）最终产生了最高的整体心理语言拟合。为了研究推动这种好处的机制，我们进行了反事实推理时间实验，通过代词化重复的话语实体来破坏跨句子实体链。模糊这些结构联系会显着降低较大上下文窗口的预测能力 20% 到 40%。我们的实验表明，跟踪远程共指关系是 LM 惊讶与人类阅读行为之间的一致性的重要因素之一，并近似人类理解者在语言处理过程中使用全局话语关系的程度。