大语言模型中涌现模块化认知架构

人脑表现出显著的功能特化程度，由不同的网络分别支持语言、形式推理、关于他人心智的推理以及关于物理世界的推理。这种模块化组织是智能系统必须遵循的基本构建原则，还是生物大脑特有的进化偶然？本文检验类似的组织是否也会在大语言模型中涌现——后者是通过与生物截然不同的优化过程创造的另一类智能系统。通过横跨四个认知领域（语言、形式推理、社会推理、物理推理）共N=46个任务的电路分析，我们发现LLM发展出与人脑相似的模块化架构：在人脑中依赖同一网络的任务，在LLM中征用重叠的神经元；而依赖不同网络的任务则征用不同的神经元。大脑与神经网络中模块化的趋同涌现表明，它可能是智能系统的基本属性。