自适应块级数据类型

NVFP4 作为一种用于量化 大语言模型 的 4 位格式越来越受欢迎，因为它具有硬件支持，并且能够以每个参数相对较少的位数保留有用信息。然而，该格式并非没有限制：最近的工作表明 NVFP4 受到其误差分布的影响，导致每组 16 个值的接近最大值上存在大量量化误差。在这项工作中，我们利用这种洞察力来设计新的自适应块级数据类型，可以适应其输入值的分布。对于四位量化，我们建议的 IF4 (Int/Float 4) 数据类型为每组 16 个值在 FP4 和 INT4 表示之间进行选择，然后按 E4M3 比例因子进行缩放，就像 NVFP4 所做的那样。所选数据类型使用比例因子的符号位表示，目前在 NVFP4 中未使用该符号位，并且我们将相同的见解应用于其他位宽（包括 IF3 和 IF6）的设计格式。当用于量化语言模型时，我们发现 IF4 优于现有的 4 位块缩放格式，在量化训练期间实现了更低的损失，并在 后训练 量化中的许多任务上实现了更高的准确性。我们还设计并评估了 IF4 乘法累加 (MAC) 单元，以证明 IF4 可以在下一代硬件加速器中高效实现。我们的代码可在 https://github.com/mit-han-lab/fouroversix 获取。