论文
SigmaScale：采用基于 SVD 的低秩分解和学习缩放矩阵的 LLM 压缩
SigmaScale: LLM Compression with SVD-based Low-Rank Decomposition and Learned Scaling Matrices
摘要
我们提出了 SigmaScale，一种用于学习辅助缩放矩阵 $S$ 的方法，以帮助基于截断奇异值分解 (SVD) 的 大语言模型 (LLM) 压缩。 SigmaScale 不是以分析方式推导缩放矩阵，而是优化两组向量，这些向量在激活感知压缩损失下定义对角线行和列缩放变换。我们表明，学习缩放降低了权重矩阵的有效内在等级，正如有效等级熵的减少所反映的那样，并且这种减少与压缩损失密切相关。 Llama 3.1 8B Instruct 和 Qwen3-8B 上的实验表明，SigmaScale 在困惑度和零样本基准测试中与密切相关的最先进的基于 SVD 的压缩方法具有竞争力。通过使用学习到的激活感知转换，SigmaScale 通过适应各个模型权重的结构，探索了一种更灵活的低秩 LLM 压缩途径。在特定任务中观察到的优势使我们的方法成为需要降低 LLM 推理计算成本的应用程序的有效选择。