探索阅读时间

探索表明，语言模型表示编码了丰富的语言信息，但尚不清楚它们是否也捕获有关人类处理的认知信号。在这项工作中，我们探讨了人类阅读时间的语言模型表示。我们对跨越五种语言（英语、希腊语、希伯来语、俄语和土耳其语）的两个眼动追踪语料库使用正则化线性回归，将每个模型层的表示与标量预测变量（惊喜、信息价值和 logits 镜头惊喜）进行比较。我们发现，早期层的表示在预测早期通过测量（例如首次注视和注视持续时间）方面优于令人惊讶的表现。预测能力集中在早期层表明，类人处理特征是通过低级结构或词汇表示捕获的，这表明模型深度和人类阅读的时间阶段之间的功能对齐。相比之下，对于总阅读时间等后期衡量指标，标量惊喜仍然更优越，尽管它是一种压缩得多的表示形式。我们还观察到使用意外层表示和早期层表示时的性能提升。总体而言，我们发现表现最好的预测器根据语言和眼动追踪指标的不同而有很大差异。