LACE-SVD：针对 LLM 压缩的具有累积纠错功能的丢失感知 SVD

大语言模型（LLM）参数规模的快速增长对高效压缩技术产生了强烈需求。作为一种与硬件无关且高度兼容的方法，低秩压缩已被广泛采用，以减少内存占用和计算成本。然而，现有的基于 SVD 的方法仍然主要由局部重建目标驱动，忽略了两个关键限制：通常在没有明确考虑逐层损失敏感性的情况下分配秩预算，并且局部逼近误差可以通过残差流传播和累积，导致与原始模型的全局偏差放大。为了解决这些问题，我们提出了 LACE-SVD，这是一种损失感知 SVD 框架，具有针对 LLM 压缩的累积误差校正。 LACE-SVD 首先估计由候选逐层压缩率引起的校准负对数似然增加，并解决预算约束分配问题以分配秩预算。然后，它使用封闭形式的本地更新来细化压缩模型，并为残差流输出模块引入传播感知校正，从而减少层输出差异作为累积误差传播的代理。实验结果表明，在高压缩比（0.6）下，我们的方法在LLaMA-7B（32.57）上的WikiText-2 PPL明显优于Dobi-SVD（46.18）。