DADP：动态活动相关剪枝，一种逆赫布启发的结构剪枝方法

现代神经网络严重过度参数化。这种冗余在训练和推理过程中会产生大量的计算和内存开销。现有的修剪方法依赖于事后幅度阈值或静态初始化启发法。因此，它们通常需要手动的每层稀疏目标或昂贵的再训练周期。我们提出动态活动依赖修剪（DADP），这是一种受生物学启发的结构可塑性机制。在训练期间，DADP 通过突触前激活和突触后误差梯度的累积乘积来测量连接重要性。 DADP 使用单个全局阈值而不是固定的层预算，在整个网络深度上动态分配稀疏性，同时自然地诱导神经元和通道级修剪。在 MLP、VGG-16、ResNet-18、BiLSTM-CRF 和 MiniBERT 架构中，DADP 匹配或优于 Magnitude、SNIP 和 RigL，在 ResNet-18 上以 99% 稀疏度保留 73.67% 的准确率（密集基线：76.06%）。最后，基于矩阵的香农熵和有效等级测量证实 DADP 保留了潜在的 极端稀疏的特征多样性，而不会导致表示崩溃。