从频谱统计预测 LLM 压缩退化

矩阵级低秩压缩是降低 大语言模型 成本的一种有前途的方法，但在语言任务上运行压缩和评估生成的模型可能会非常昂贵。在进行此计算之前可以预测压缩引起的退化吗？我们系统地分析了 Qwen3 和 Gemma3 模型系列的四种代表性低秩压缩方法：vanilla SVD、两种 ASVD 变体和 SVD-LLM。我们发现稳定的秩和信息密度（以每个参数的位数来衡量）主导着性能下降。交互项 $γ\cdot \barρ_s$ 定义为压缩比乘以稳定秩，是准确率下降的稳健预测器，实现注意力层留一交叉验证 Pearson 相关性为 0.890，MLP 层为 0.839。我们通过将其连接到 Transformer 层中的标准 SVD 截断边界和错误组合机制，提供了该预测器为何成功的理论直觉。这些发现实现了预测然后压缩的工作流程：根据权重计算 $γ\cdot \barρ_s$，估计退化，并仅将计算投入到所需的配置中。