LLM 中类脑的协同核心驱动行为与学习

摘要

智能在生物系统与人工系统中的独立演化为识别其基本计算原理提供了独特机会。本文表明，大语言模型会自发形成协同核心——即信息整合超过各独立部分的组件——与人类大脑中的同类核心惊人地相似。利用信息分解原理，我们在多个 LLM 模型族与架构上发现，中层区域表现出协同处理，而早期和晚期层则依赖冗余，这与生物大脑的信息组织方式一致。这种组织通过学习产生，在随机初始化的网络中并不存在。关键的是，消融协同组件会导致不成比例的行为变化与性能损失，这与关于协同脆弱性的理论预测相符。此外，通过强化学习微调协同区域带来的性能提升显著大于训练冗余组件，而监督微调则没有这种优势。这一趋同表明，协同信息处理是智能的一项基本属性，为有原则的模型设计提供了目标，也为生物智能提供了可检验的预测。

LLM 中类脑的协同核心驱动行为与学习配图 — 图 2：LLM 包含一个由其中间层构成的协同核心。(a) 展示 Gemma 3 4B 中注意力头两两之间协同与冗余的热力图。(b) 展示 Gemma 3 4B 中协同-冗余排名的热力图。高值（红色）表示某个注意力头的交互以协同为主，低值（蓝色）表示其交互以冗余为主。(c) 若干 LLM 的协同核心，y 轴表示协同-冗余排名。层编号从 0 到 1 归一化，协同-冗余排名使用最小-最大缩放归一化，以便在不同规模的模型之间进行比较。模型的中间层表现出最多的协同交互。DeepSeek V2 Lite 的协同核心在专家层面计算，而其余模型则基于注意力头。