FastKron：使用克罗内克因子 Hessian 进行高效量化

我们加速了一系列神经网络量化算法，该算法利用 GPTQ/LDLQ 算法的双面版本。标准 GPTQ 式自适应舍入使用从输入激活派生的单侧相关信息。自然的两侧扩展还可以捕获输出通道之间的相关性。它利用权重矩阵曲率的通用克罗内克因子近似。这种方法已在 BoA 和 YAQA 中使用。但是，对这种双向 GPTQ 变体进行具体的算法实现并非易事。 BoA 使用大量的顺序步骤，而 YAQA 在顺序深度上有所改进，但总成本仍然是四次方。我们介绍 FastKron，一种高效的算法实现，它将反对角并行性与递归分治结构相结合。对于 $m\times n$ 权重矩阵，FastKron 使用 $O(m+n)$ 连续步骤，同时将总工作量从 $O(m^2n^2)$ 减少到 $O(mn(m+n))$。因此，它与 GPTQ 的立方缩放相匹配，同时利用更丰富的曲率信息。此外，FastKron 在基本量化器和 Hessian 估计器方面都是模块化的。我们还提供实用的基准，考虑 FastKron 可以使用的一系列 Hessian 近似，并提供一种有效的技术来计算这些 Hessian 矩阵。