重温 大语言模型 中的非逐字记忆：实体表面形式的作用

了解 大语言模型 (LLM) 记忆哪些类型的事实知识对于评估其可靠性和局限性至关重要。基于实体的 QA 是分析非逐字记忆的通用框架，但典型的评估使用单个规范表面形式查询每个实体，这使得很难将事实记忆与通过特定名称的访问分开。我们引入了 RedirectQA，这是一个基于实体的 QA 数据集，它使用维基百科重定向信息将维基数据事实三元组与每个实体的分类表面形式相关联，包括替代名称、缩写、拼写变体和常见错误形式。在 13 LLM 中，我们检查了表面条件事实记忆，发现当仅实体表面形式发生变化时，预测结果通常会发生变化。这种不一致与类别相关：模型对较小的拼写变化比对较大的词汇变化（例如别名和缩写）更稳健。频率分析进一步表明实体级频率和表面级频率都与准确性相关，并且实体频率的贡献通常超出表面频率。总体而言，事实记忆既不是纯粹表面特定的，也不是完全表面不变的，这凸显了表面形式多样性在评估非逐字记忆中的重要性。