论文
读者熟练程度塑造了分层的惊喜轮廓
Reader Proficiency Shapes Layer-wise Surprisal Profiles
摘要
阅读行为不仅随语言输入而变化,还随读者的熟练程度而变化。在这项研究中,我们调查了大语言模型(LLM)的惊讶与人类注视行为之间的分层关系是否因不同熟练程度和不同注视测量的读者而异。使用来自 MECO L2 语料库的眼动追踪数据,我们比较了词汇熟练程度高低的读者的首次注视持续时间 (FPGD) 和总注视持续时间 (TGD)。我们使用预测深度来量化跨模型层的意外预测能力的分布。在 12 个测试的大语言模型中,我们发现词汇熟练程度较低的读者倾向于在 FPGD 中表现出更深的预测深度,而在 TGD 中这种差异较小。此外,在两个熟练组中,TGD 本身都显示出比 FPGD 更深的预测深度。这些模式表明,预测能力在大语言模型各层中集中的位置可能与不同注视测量所捕获的阅读过程的时间和广度有关,并且这种关系可能会随着读者的熟练程度而变化。我们的留一法分析进一步表明,尽管预测方面的实际改进有限,但信息丰富的内部层的优势扩展到了看不见的文本。总的来说,我们的结果表明,逐层大语言模型的惊喜为读者群体和凝视测量的阅读行为变化提供了有用的视角。