语言模型惊喜和隐喻新颖性中的频率混淆

语言模型（LM）惊讶被广泛用作上下文可预测性的代理，并且据报道与隐喻新颖性判断相关。然而，惊讶与词汇频率紧密相关。我们使用两种不同的词频度量来探索隐喻新颖性评级的这种相互作用。我们分析了 8 个 Pythia 模型大小和 154 个训练检查点的意外估计。在不同的环境中，词频比惊喜更能预测隐喻的新颖性。在整个训练阶段，意外与新奇的关联在早期阶段达到顶峰，然后再次下降，这反映了意外与频率关联的时间相似的增加。这些结果表明，经常报告的最佳 LM 惊喜设置可能会错误地将上下文可预测性与隐喻新颖性和处理难度联系起来，而词汇频率可能是主要的潜在因素。