沙丘社区
论文

OSFP4：联合优化 NVFP4 平滑与块尺度

OSFP4: Joint Optimization of Diagonal Smoothing and Block Scales for NVFP4 Quantization

Neriah Ben David, Ori Meir, Or Ordentlich
模型优化量化

摘要

NVFP4 是大语言模型 (LLM) 推理的一种有吸引力的数据类型，提供紧凑的存储和本机张量核心加速。然而，使用 NVFP4 保持精度需要仔细量化。在这项工作中，我们开发了一种新颖的量化方案，称为 NVFP4 的优化平滑和缩放（OSFP4）。对于每个线性投影，它使用对角平滑矩阵，其条目经过优化，以最小化 NVFP4 下的平方矩阵乘积量化误差，同时考虑到所使用的舍入程序（舍入到最近的舍入或 GPTQ 式连续干扰消除）。这需要对平滑条目和块尺度执行联合优化，这可以通过分析乘法抖动 FP4 量化器而不是固定的确定性量化器来实现。实验表明，在相应的量化设置下，OSFP4 在评估的竞争对手中实现了最高的平均准确度，同时在测量的工作负载上保留了供应商 NVFP4 预填充 吞吐量的大约 94-97%。我们的代码可在 https://github.com/neriahbd/OSFP4 中找到

OSFP4：联合优化 NVFP4 平滑与块尺度：论文原图
图 1：随机 FP4 量化 $\phi(x)=\frac{\mathbb{E}[(x-\tilde{Q}_{\mathrm{FP4}}(x))^{2}]}{x^{2}}$ 及其确定性对应项 $\phi_{\mathrm{exact}}(x)=\frac{(x-Q_{\mathrm{FP4}}(x))^{2}}{x^{2}}$ 的归一化均方误差。