论文

大语言模型中的自发功能分化:类脑智能经济

Spontaneous Functional Differentiation in Large Language Models: A Brain-Like Intelligence Economy

模型评测模型行为与机制分析

摘要

人工系统中智能的进化为识别通用计算原理提供了独特的机会。在这里,我们展示了大语言模型自发地发展出协同核心,其中信息集成超过了与人脑非常相似的各个部分。使用跨多个架构的集成信息分解,我们发现中间层表现出协同处理,而早期层和晚期层依赖于冗余。这种组织是动态的,随着任务难度的增加而出现物理阶段的转变。至关重要的是,消除协同成分会导致灾难性的性能损失,这证实了它们作为抽象推理的物理实体以及连接人工智能和生物智能的作用。

揭示大语言模型的推理过程:论文配图
图 1:Qwen3-8B-Base 中抽象和内存组件以及子层剩余流贡献的分布。 (a) 红色代表负责将主要特征组合成高级语义的头,而蓝色代表负责无损信息传输的头。清晰的边界可见:早期层(0 到 10)向中间层提供信息,中间层(11 到 23)重新组织特征,后期层(24 到 34)输出高级特征。拟合曲线呈现明显的倒U形。 (b) 每层对残余流贡献的余弦相似度表明网络中间存在相变。