论文

LLM有核心信念吗?

Do LLMs have core beliefs?

模型评测模型能力评测

摘要

大语言模型 (LLM) 的兴起引发了关于这些系统是否表现出人类水平认知的争论。在这场辩论中,很少有人关注人类认知的结构组成部分:核心信念和真理,它们为我们构建世界观提供了基础。这些承诺通常不会被揭穿,因为放弃它们将代表我们看待现实的方式发生根本性转变。在本文中,我们询问 LLM 是否持有类似于核心承诺的内容。使用我们称为对抗性对话树(ADT)的五个领域(科学、历史、地理、生物学和数学)的探索框架,我们发现大多数 LLM 无法维持稳定的世界观。尽管最近的一些模型显示出稳定性的提高,但它们最终仍然未能在对话压力下维持关键承诺。这些结果记录了各代模型论证技能的提高,但表明所有当前模型都缺乏人类认知的关键组成部分。