论文
ROCKET:通过校准引导的背包增强截断进行快速优化,以实现高效模型压缩
ROCKET: Rapid Optimization via Calibration-guided Knapsack Enhanced Truncation for Efficient Model Compression
摘要
我们提出了 ROCKET,一种 无需训练 模型压缩方法,与因式分解、结构化稀疏化和动态压缩基线相比,它实现了最先进的性能。 ROCKET 在全局压缩预算下运行,包含两项关键创新:首先,它将分层压缩分配制定为多选择背包问题,为每层选择最佳压缩级别,以最大限度地减少总重建误差,同时遵守目标模型大小。其次,它引入了受字典学习启发的单步稀疏矩阵分解:仅使用一个小的校准集,根据激活权重敏感性稀疏权重系数,然后通过最小二乘以封闭形式更新字典,完全绕过迭代优化、稀疏编码或反向传播。 ROCKET 在不同模型架构中的压缩率始终优于现有压缩方法,压缩率为 20-50%。值得注意的是,它在 30% 压缩下保留了超过 90% 的原始模型性能,而无需任何 微调。此外,当应用轻型 微调 阶段时,恢复能力得到显着增强:例如,将 Qwen3-14B 压缩为 8B 参数模型并仅用 3000 万个词元对其进行修复,所产生的性能几乎与原始 Qwen3-8B 相当。 ROCKET 的代码位于 github.com/mts-ai/ROCKET/tree/main。