从决策表示转变解释层剪枝 LLM 的性能崩溃

层剪枝可以有效降低 大语言模型 (LLM) 的计算成本，但通常会引发突然的性能崩溃。现有的基于表征的分析很难解释这种机制。我们建议通过决策表示来研究剪枝。专注于多项选择任务，我们引入了两个指标：决策裕度和选项频率，以及迭代剪枝方法来分析分层决策动态。我们的研究结果揭示了一个急剧的决策转变，该转变将网络分为两个阶段：模型尚无法预测正确答案的静默阶段和出现正确预测的决定阶段。我们还发现，修剪决定性阶段的影响最小，而修剪沉默阶段会立即引发性能崩溃，突显其对结构变化的极端敏感性。因此，我们得出结论，修剪引起的崩溃源于扰乱静默阶段，从而阻止了关键决策转换的发生。