编码脑电图信号以检查语言模型中类似人类的下一个单词预测行为

语言模型（LM）经过训练，能够在给定先验上下文的情况下擅长预测序列中的下一个单词，而人类在阅读理解方面也具有这种可预测性。神经科学研究表明，下一个单词的可预测性会影响大脑反应，正如使用脑电图 (EEG) 以毫秒分辨率记录的那样。虽然我们的证据表明先进的语言模型在下一个单词预测任务中实现的精度与人类的表现密切相关，但这提出了一个问题：更高的预测精度是否一定意味着这些模型充分捕获了与人类阅读理解相关的认知信号？在这里，我们基于两种信息测量（包括 top-1 预测和惊喜）为人类和 LM 生成回归量，以预测从 EEG 记录中引出的事件相关电位（ERP），这些记录反映了阅读过程中认知处理的不同阶段。我们认为，ERP 模式建模可以对阅读过程中各种 LM 的认知合理性进行细粒度分析。我们的结果表明，只有惊讶才可能与语言处理 ERP 相关，特别是对于具有高语义内容的开放类单词。此外，我们的研究结果挑战了这样的假设：通过增加参数和计算预算来扩展语言模型将始终改善与类人语言处理的收敛性。