大语言模型在数学推理中是否表现出连贯的知识结构？一种基于知识空间理论的视角

人类知识本质上是结构化和相互依赖的：掌握一个概念需要事先掌握其先决条件，这是知识空间理论（KST）形式化的原则。虽然大语言模型在复杂的推理任务上取得了出色的表现，但仍不清楚它们是否表现出连贯的、类似人类的知识结构。我们引入了一个基于 KST 的框架，用于评估数学推理中的 LLM 知识结构，并将其作为规范框架来分析 LLM 行为是否遵循原则性知识依赖关系。通过针对真实人类学习者评估八个开源和闭源大语言模型，我们发现（1）大语言模型不遵守人类知识结构——它们经常违反知识依赖性，并且无法利用上下文中提供的相关知识来提高相关问题的表现； (2) 大语言模型之间的知识结构并不一致，这反映在其知识分布的重叠度较低。此外，这些结构性缺陷在很大程度上对于基于准确性和大语言模型作为法官的评估来说仍然是不可见的。总之，我们的结果提供了行为证据，表明当前的大语言模型知识并不遵循类人结构。