MOONSHOT：视觉多目标修剪框架和 大语言模型

权重剪枝是压缩大型神经网络的常用技术。我们专注于具有挑战性的 后训练 一次性设置，其中预训练模型被压缩而无需任何重新训练。现有的一次性剪枝方法通常优化单个目标，例如分层重建损失或训练损失的二阶泰勒近似。我们强调，这两个目标本身都不是跨架构和稀疏级别始终最有效的。受此启发，我们提出了 MOONSHOT，这是一个通用且灵活的框架，通过联合优化分层重建误差和训练损失的二阶泰勒近似，将任何单目标剪枝方法扩展到多目标公式。 MOONSHOT 充当现有修剪算法的包装器。为了实现这种集成，同时保持十亿参数模型的可扩展性，我们提出了建模决策，并引入了一种计算逆 Hessian 矩阵的有效程序，从而保持了最先进的一次性剪枝器的效率。当与 Llama-3.2 和 Llama-2 模型上最先进的剪枝方法相结合时，MOONSHOT 在 2:4 稀疏度下将 C4 困惑度降低了 32.6%，并将七个分类基准的零样本平均准确度提高了 4.9 个点。在 Vision Transformer 上，它在 70% 稀疏度下将 ImageNet-1k 上的准确率提高了 5 个点以上，而在 ResNet-50 上，它在 90% 稀疏度下提高了 4 个点。