通过二进制背包优化统一 LLM 的深度和宽度修剪

结构化剪枝是一种很有前途的压缩 大语言模型 (LLM) 的方法，但现有方法严重依赖贪婪启发法，从而产生短视决策，并且常常无法精确满足目标压缩预算。我们提出了 SNIPER，一个两阶段的结构化剪枝框架，它解决了粗粒度组件上的背包优化问题，以产生相对于固定重要性估计的条件最优参数分配，然后是细粒度剪枝阶段以满足严格的预算约束。我们引入压缩比遵守因子 (CRAFT) 来量化预算保真度，结果表明，虽然现有修剪器与目标压缩比的偏差高达 33%，但 SNIPER 实现了近乎精确的遵守，CRAFT 得分为 0.98。对跨越 5 个领域的 18 项任务的四种不同架构的评估表明，SNIPER 在平均性能保留和任务级稳定性方面比六种最先进的修剪器取得了持续改进。在所有剪枝配置中，SNIPER 获得了 1.25 的优异平均排名，表明其强大的跨架构泛化性和出色的可靠性。