光谱结构畸变揭示了神经网络中的冗余神经元

过度参数化的神经网络通常包含许多可移动的神经元，但人们对神经元冗余的原因仍然知之甚少。现有的修剪标准通常依赖于局部量，例如权重大小、激活强度或梯度敏感性，但这些措施对神经元在层执行的转换中的结构作用的了解有限。在这里，我们证明神经元冗余的特征是对分层表示变换引起的谱结构失真的参与较弱。对于经过训练的网络的每个隐藏层，我们记录激活前和激活后的隐藏状态，将神经元建模为图节点，并构建描述层转换前后神经元级关系结构的输入侧和输出侧图。然后，我们定义一个谱结构重要性得分，用于衡量每个神经元对这两个关系结构之间的主要图谱失真的贡献。低参与神经元被视为结构冗余，并通过迭代修剪过程删除，其中在每次结构变化后重新计算分数。在中间修剪轮次期间不执行任何参数更新；达到目标参数减少后，将单个恢复 微调 阶段应用于紧凑模型。跨传统神经网络、仅编码器 Transformer 和仅解码器语言模型的直接消融分析和实验表明，这种图谱标准识别可移动神经元和 Transformer 单元，同时在压缩后保留任务性能。这些结果表明，神经冗余不仅仅是小权重或弱激活的结果，而且可以通过对分层关系结构的谱失真的弱参与来理解。