论文
激活和影响感知秩 (AIR)：LLM 的功能保留 SVD 压缩
Activation- and Influence-Aware Ranks (AIR): Function-Preserving SVD Compression for LLMs
摘要
我们提出了激活和影响感知等级 (AIR)，这是一种基于 SVD 的 LLM 压缩框架，它通过后向信号影响度量来指导每个权重矩阵的低秩近似。从 SVD-LLM(W) 的激活感知最优值开始，AIR 运行单个封闭形式交替最小二乘 (ALS) 扫描，在单调下降保证下按元素集成影响。 AIR 是层本地的，并与端到端方法正交组合：单独使用它就超过了 ACIP，而 AIR+LoRA 则进一步优于它。与 SVD-LLM(W) 相比，AIR 在参数保留率 <=60% 的情况下将困惑度提高了 >18%，将其质量与校准数据减少约 90% 相匹配，并将参数节省转化为 FLOP、峰值内存和每个词元延迟增益。