SimDiff：基于相似性与差异性的深度剪枝

深度剪枝通过识别并移除冗余层来提升大语言模型（LLM）的部署效率。这一识别过程的一个广为接受的标准是使用余弦距离来度量层间相似性。然而，我们发现仅依赖这一一维启发式的方法在不同架构上可能表现出不可预测的性能，甚至发生灾难性崩溃。为解决这一问题，我们提出SimDiff，一种从表示相似性和变换差异性这两个正交视角联合评估层重要性的新准则。差异性通过两个不同的指标量化：MSSD对离群值敏感，能识别做出决定性修正的层；MASD则稳健地度量一层的平均贡献。在0.5B到13B参数的多个模型上进行的大量实验表明，SimDiff在各种剪枝比例下均显著优于最先进基线。值得注意的是，我们的方法在25%剪枝比例下保留了LLaMA2-7B超过91%的性能，并在LLaMA3.1-8B上剪除12层时实现高达1.49倍的推理加速。我们还表明，剪枝后的模型可以通过极少量的微调有效恢复。