论文
通过幂变换和具有自适应特征保留的符号保留分数聚合对 大语言模型 进行结构化修剪
Structured Pruning of Large Language Models via Power Transformation and Sign-Preserving Score Aggregation with Adaptive Feature Retention
摘要
本文提出了一种改进的 大语言模型 结构化剪枝方法（LLM），该方法解决了将自适应特征保留（AFR）（一种非结构化剪枝技术）适应结构化剪枝的关键挑战。将AFR应用于结构化剪枝时，会出现三个主要问题：异构剪枝分数之间的分布不匹配、表明优化方向一致性的符号信息丢失以及异常值的影响。为了解决这些问题，我们提出了一种统一的方法，结合了非线性分布对齐的幂变换、符号保留分数聚合和基于百分位数的异常值去除。 Llama-3-8B、Vicuna-v1.5-13B 和 LLaVA-v1.5-13B 上的实验表明，我们的方法保持了与非结构化剪枝相当的精度，同时通过结构化剪枝实现了实际的推理加速。