FreqBLiMP：频率控制的最小对揭示了 LLM 在词汇稀有性下的鲁棒性和脆弱性

BLiMP 等最小对基准通过测试语言模型 (LM) 是否更喜欢可接受的句子而不是最少不同的不可接受的句子来评估语言知识。然而，尽管词汇频率是自然语言使用的普遍且高度倾斜的属性，但这些基准在很大程度上忽略了词汇频率的变化。因此，现有的评估并没有测试当对比涉及罕见词汇项目时语法偏好是否保持稳定。我们引入了 FreqBLiMP，这是 BLiMP 的频率控制扩展，它在显式 Zipf 频率机制下重新生成所有 67 个范式，同时保留每个最小对的语法对比。通过跨尺度评估多个开放权重 LLM 家族，我们发现词汇频率的降低会导致句子可能性的一致、单调降低，但总体对比可接受性准确性仅略有降低。然而，这种总体稳定性掩盖了语言现象之间的实质性差异，LLM 在明显的形态句法泛化上保持稳健，同时在需要引理特定信息的现象上退化。