论文

系统 1 和系统 2 语义记忆结构在人类和 LLM 偏见中的作用

The role of System 1 and System 2 semantic memory structure in human and LLM biases

模型评测模型行为与机制分析

摘要

人类和 大语言模型 (LLM) 的隐性偏见都会带来重大的社会风险。双过程理论认为,偏见主要源于联想系统 1 思维,而深思熟虑的系统 2 思维可以减轻偏见,但引起这种现象的认知机制仍然知之甚少。为了更好地理解人类(也可能是 LLM)这种二元性的背后是什么,我们将系统 1 和系统 2 思维建模为具有不同结构的语义记忆网络,由人类和 LLM 生成的可比数据集构建而成。然后,我们使用基于网络的评估指标研究这些不同的语义记忆结构如何与隐性性别偏见相关。我们发现语义记忆结构仅在人类中是不可约的,这表明 LLM 缺乏某些类型的类人类概念知识。此外,语义记忆结构始终与人类的隐性偏见相关,而 System~2 结构中的偏见水平较低。这些发现表明,某些类型的概念知识有助于人类的偏见调节,但在 LLM 中则不然,这凸显了人类和机器认知之间的根本差异。