可扩展的 Kronecker-Fisher 近似：针对十亿参数语言模型压缩的高效 Hessian 分析

在本文中，我们提出了一种可扩展的基于 Kronecker 的近似，该近似可以捕获跨层交互，而无需存储整个 Fisher 矩阵，从而能够对无法进行全面计算的十亿参数网络进行实用的 Hessian 分析。我们的方法揭示了一致的漏洞模式：价值投影层在多个模型系列中表现出最高的敏感性和最强的跨层相关性，而其他组件则表现出特定于架构的行为。通过对量化、稀疏化、层间损坏和损坏后 微调 的大量实验，我们证明我们的近似与性能下降和恢复密切相关。我们的框架提供了一个实用的、有理论依据的工具，用于识别大型模型中的脆弱组件，为引导压缩和优化策略开辟新途径，例如混合精度分配、逐层稀疏性以及跨层甚至单个权重组的自适应低秩分解。