通过随机子空间迭代对预训练模型进行低秩压缩

大规模的预训练模型使得高效压缩对于实际部署至关重要。基于奇异值分解（SVD）的低秩分解为模型简化提供了一种原则性的方法，但对于大型权重矩阵来说，其精确计算成本很高。随机 SVD (RSVD) 等随机替代方案可提高效率，但当奇异值谱缓慢衰减时，它们可能会遇到近似质量较差的问题，这是现代预训练模型中常见的情况。在这项工作中，我们从理论和实证的角度解决了这一局限性。首先，我们通过分析 softmax 扰动建立低秩近似误差和预测性能之间的联系，表明类概率的偏差是由压缩权重的谱误差控制的。其次，我们证明了 RSVD 的不足，并且我们提出随机子空间迭代（RSI）作为更有效的替代方案。通过合并多次幂迭代，RSI 改进了频谱分离，并提供了增强近似质量的可控机制。我们在卷积网络和基于 Transformer 的架构上评估我们的方法。我们的结果表明，RSI 实现了接近最佳的近似质量，同时在积极压缩下的预测准确性优于 RSVD，从而实现了高效的模型压缩。