基于能量的 Transformer 作为阅读难度的预测因子

Transformer 语言模型已成为人类句子处理建模的既定工具，惊讶熵和注意力熵等度量可作为阅读难度的有效预测因子，共同捕获处理负载的互补方面。在这里，我们探索一类相关的 Transformer 模型：基于能量的 Transformer，它提供了与联想记忆模型的原则性形式链接，使处理研究与有关 Hopfield 网络和密集联想记忆的更广泛文献直接联系。据我们所知，这是计算心理语言学中基于能量的 Transformer 测量的首次探索。在阅读时间语料库（自然故事、伦敦大学学院眼动追踪、伦敦大学学院自定进度阅读）中，能量测量是阅读时间的有力预测指标，在这三者中提供了超越惊讶和熵的显着拟合。在关系从句处理的受控实验中，单层的能量捕获了众所周知的对象/主体不对称性。我们发现有证据表明它包含了注意力熵和惊喜的影响，这表明能量可以作为一个统一的预测因子，而之前需要多种补充措施。