论文
不要破坏我的 LLM：修剪注意力层对解释 忠实性 和置信度校准的影响
Don't Go Breaking My LLM: The Impact of Pruning Attention Layers on Explanation Faithfulness and Confidence Calibration
摘要
修剪 大语言模型 (LLM) 通过删除部分网络来降低内存和推理成本，生成保留大部分准确性的较小模型。由于注意力层是 LLM 中资源最密集的部分，因此修剪它们是一种有前途的压缩策略。之前的工作表明，最多可以修剪 33% 的注意力层，而准确度损失最小。然而，注意力修剪对模型可解释性的影响，特别是 忠实性 和置信度校准，仍有待研究。为了解决这一差距，我们研究了修剪注意力层如何影响五个 LLM 和八个数据集的解释 忠实性 和置信度校准。虽然修剪后的模型通常保持高精度，但我们发现它们的 忠实性 和校准经常下降。值得注意的是，即使精度保持稳定，忠实性 和校准也可能会大幅波动，这凸显了模型置信度、可解释性和精度之间的不一致。我们的研究结果表明，层剪枝可以影响 LLM 的可解释性和可靠性，其方式无法仅通过准确性和效率度量来捕获。我们建议在评估修剪模型时包括可解释性和校准指标。