语言模型层和人类句子处理之间的双重对齐

最近的一项研究（Kuribayashi 等人，2025）表明，通常在句法上没有挑战性的结构上测量的人类句子处理行为可以使用 大语言模型 (LLM) 早期层的惊喜进行有效建模。这就提出了一个问题：内部层的这种优势是否会扩展到语法上更具挑战性的结构，据报道，在这些结构中，令人惊讶的是低估了人类的认知努力。在本文中，我们首先探索内部层，以更好地估计在英语句法歧义处理中观察到的人类认知努力。我们的实验表明，与自然阅读相反，后面的层可以更好地估计这种认知努力，但仍然低估了人类数据。这种双重对齐揭示了人类和语言模型的不同句子处理模式：自然阅读采用了类似于早期语言模型层的较弱的预测，而语法上具有挑战性的处理需要更完全上下文化的表示，并由语言模型的后面层更好地建模。受这些发现的启发，我们还探索了使用 LM 的浅层和深层的几种概率更新措施，显示出与单层在读取时间建模方面的惊人优势的互补优势。