重新思考层冗余：LLM 深度修剪中的校准比搜索更重要

深度剪枝通过删除 Transformer 块来提高 大语言模型 的推理效率。先前的工作通常将层冗余视为预训练网络的固有结构属性，强调重要性标准和搜索算法来识别可移动层。在本研究中，我们从功能角度实证研究深度剪枝。通过评估不同校准配置和多种搜索算法的代表性 LLM 系列，我们发现不同的配置会产生不同的修剪模式。此外，在固定的校准配置下，复杂的搜索算法比简单的一次性方法产生边际性能改进，收敛到类似的修剪子集。总的来说，我们的结果表明，在塑造修剪模式和校准困惑度方面，校准配置比搜索算法的选择发挥着更大的作用，同时对下游推理准确性的变化也有相当大的影响。这表明未来的修剪工作可能会受益于将校准配置优先于搜索复杂性。