SVD-Surgeon：大语言模型 压缩的最佳奇异值手术

大语言模型 (LLM) 在各种任务中实现了卓越的性能，但其部署受到大量内存和计算要求的限制。通过奇异值分解（SVD）进行低秩压缩是一种有效的补救措施，但现有方法的重点是如何分解以及保留哪些分量。我们引入了 SVD-Surgeon，这是一种 无需训练 方法，它将最佳脑外科医生 (OBS) 框架引入奇异值基础。将每个奇异值视为参数，它计算保留的奇异值的封闭形式更新，该更新将通过截断删除的奇异值补偿到模型损失的二阶。相同的分析对于选择要修剪的值具有显着性。由于 SVD-Surgeon 直接在奇异值分解上运行，因此可以分层在现有 SVD 压缩器之上。应用于 SVD-LLM（一种领先的基于 SVD 的方法）后，它改进了 OPT 系列和 LLaMA 2-7B 上的困惑度压缩权衡，而无需任何重新训练。