大语言模型中的忽略零效应分析

摘要

我们研究了 LLM 的语言处理与人类认知过程的相似程度，重点关注称为 $\textit{忽略零效应}$ 的人类认知偏差。这种效应是指人类倾向于忽略 $\textit{零模型}$，这些配置凭借空集使命题空洞地为真。我们重点关注由零忽略效应驱动的两种类型的推论，并通过将它们的行为与不涉及零忽略效应的推论进行比较来检查 LLM 如何处理这些推论。为此，我们采用基于 $\textit{structural priming}$ 的范式，其中最近接触的前一个句子（$\textit{prime}$）由于其结构相似性而促进了后续句子（$\textit{target}$）的处理。我们准备素数来强制LLM考虑零模型，并分析它们是否也在目标中考虑它。结果表明，本研究分析的 LLM 可能不会出现忽略零效应。我们的代码位于 https://github.com/ynklab/neglect_zero