情景记忆是否有助于缩小对句法对比敏感度的词汇频率差距？使用检索增强语言模型的测试

语法知识及其实证检验方式通常被认为对于表达式中词汇项的频率是稳健的。然而，基于神经网络的语法模型对词汇频率表现出高度敏感性。我们利用补充学习系统理论来测试这样的假设：海马情景记忆机制可以提高词汇频率的鲁棒性，该机制能够快速编码和检索特定的经验，并允许学习者在处理罕见模式时利用它们。我们使用检索增强语言模型作为这种情景记忆机制的实例（具体来说，$k$-最近邻语言模型，通过显式实例存储增强参数模型），并测试这种增强是否有助于缩小普通语言模型在句法对比测试中表现出的词汇频率差距。通过与频率分层测试项目的句法对比，我们发现检索增强缩小了高频项目和低频项目之间的性能差距，这与情景记忆补偿弱参数表示的结果一致。这种好处在不同的句法现象以及在儿童现实和大规模数据上预训练的模型中是一致的。此外，我们表明结构信息对于有效检索至关重要，而语义相似性本身几乎没有什么好处。虽然这些是有希望的概念验证结果支持我们的假设，但频率差距缩小而不是完全缩小。根据我们的分析，我们提出对检索实例的优先重新加权、结构信息的更好表示和检索策略以及存储和检索的灵活配置作为改进语言模型中情景记忆实现的有希望的未来方向。