深入了解LLM：小世界连通性是推理能力的标志

了解大语言模型 (LLM) 推理需要超越行为表现来检查推理能力如何在内部组织中体现。受到神经科学发现的启发，将更高的智力与功能性大脑网络中更强大的小世界组织联系起来，我们研究小世界连接作为LLM推理的结构特征。我们根据注意力头激活相似性构建功能图，并发现捕获局部聚类和短全局路径的较高小世界指数（SWI）始终与跨模型和训练检查点的更好的流畅推理性能相关。由于本地集群是小世界组织的核心，因此我们进一步研究了对模型性能重要的头部如何在社区内部和社区之间进行连接。我们发现这些负责人往往在自己的社区内拥有更大的连接权重份额（核心分数高），并且在社区之间的权重分布更集中（桥梁分数低）。这些观察结果引发了这样的假设：高核心和低核心 桥梁分数作为大脑推理能力重要性的结构指标。我们通过剪枝验证了这一假设，引入了小世界分配（SWA），这是一种由这些分数引导的分层稀疏分配方法。在六个LLM中，SWA 比竞争性分配策略更好地保留了小世界组织和模型性能，将维基文本的困惑度降低了 20%。总之，这些发现将小世界功能连接确定为LLM推理表现的可衡量特征，提供了补充行为评估的结构视角。