WaterKron 和 FlipFlop Hessian：使用克罗内克因子 Hessian 进行基于信息理论的量化

应如何选择克罗内克因式分解的 Hessian 近似来进行训练后量化？我们通过 WaterKron 解决了这个问题，它将两侧 GPTQ 与行和列相关的注水尺度和熵编码相结合。我们使用显式的 Kronecker-Hessian 失配因子 $Φ$ 推导出其相对于完整 Hessian 矩阵的高速率失真。该因子量化了因 Kronecker Hessian 近似而产生的渐近失真损失，并提供了最佳选择因子的标准。最小化 $Φ$ 会导致经典“触发器”更新的高斯协方差拟合问题。因此，我们给出了在量化中使用所得 FlipFlop Hessian 的速率失真理由。我们根据经验对其进行评估，发现 FlipFlop Hessian 相对于仅输入、边际和基于 Frobenius 的 Hessian 选择持续改善了 KL 散度和困惑度。