高速量化矩阵乘法 II

这是研究量化矩阵乘法 (MatMul) 工作的第二部分。在第一部分中，我们考虑了免校准量化的情况，而在这里我们讨论第二个因子的列的协方差矩阵 $Σ_X$ 可用的设置。此设置出现在 LLM 的仅权重 后训练 量化的普遍任务中。仅权量化与加权均方误差 (WMSE) 源编码问题相关，其经典（反向）注水解决方案决定了如何在向量坐标之间分配速率。我们展示了如何使用注水来改进实用的 LLM 量化算法（GPTQ），该算法目前平均分配速率。最近的方案（称为“WaterSIC”）仅使用标量 INT 量化器进行了分析，其高速性能被证明是（a）无基（即，以 $Σ_X$ 的行列式为特征，因此，与现有方案不同，不受应用随机旋转的影响）； (b) 在信息理论失真极限的 $\frac{2πe}{12}$（或 0.25 位/条目）的乘法因子内。 GPTQ 的性能反过来又受到基础选择的影响，但对于随机旋转和来自 Llama-3-8B 的实际 $Σ_X$，我们发现它在 WaterSIC 的 0.1 位（取决于层类型）内，这表明随机旋转的 GPTQ 也接近最优，至少在高速率状态下是这样。