GPTQ-intrinsic LoRA：一种具有低秩自适应的低精度量化的近最优算法

后训练 量化广泛用于压缩大型神经网络，但激进的低位量化会显着降低模型质量。常见的补救措施是通过低秩校正来增加量化权重，从而得到 $W\approx Q+LR$ 形式的近似值。在本文中，我们通过分层重建目标$\|XW-X(Q+LR)\|_F^2$来研究这种低精度加低秩表示，其中$X$是校准矩阵。据我们所知，我们在有限字母表和有界低秩补偿约束下建立了该问题的第一个信息论下界。然后，我们提出了 GPTQ 内在 LoRA，这是一种 无需训练 算法，通过适当增强校准 Hessian，将低秩校正直接合并到 GPTQ 式量化过程中。对于选择 $L=V_r$，其中 $V_r$ 包含 $X$ 的右上奇异向量，我们证明了分层重建误差界限，其中通常的 GPTQ 对 $\|X\|_F^2$ 的依赖被等级 $r$ 残差 $\|X-X_r\|_F^2$ 取代，直到正则化项。在自然结构假设下，这些界限在其主导尺度上与信息论下界相匹配，直至常数和温和因子。我们还引入了 Bid-Up，这是一种固定网格量化细化步骤，可以与最佳低秩补偿交替使用，并保证不增加分层重建误差。 Qwen3 语言模型和 DeiT 视觉 Transformer 的实验表明，GPTQ 固有的 LoRA 比 GPTQ 和 GPTQ 进行了改进，并进行了低秩补偿，并从细化循环中获得了额外的收益。