网格游戏：多个网格的量化能力 大语言模型

量化方面的最新重大进展是由微型 4 位格式（例如 NVFP4 和 MXFP4）实现的，假设固定浮点网格，将值量化为共享比例的小组。在本文中，我们研究了以下自然扩展：假设对于每组值，我们可以自由地在由尺度值中的一个或多个位标记的两个或多个4位网格中选择“更好”。我们形式化了两个网格的幂 (PO2) 问题，并提供了理论结果，表明 MXFP 或 NVFP 等实用的小团体格式可以从 PO2 网格中显着受益，而对于非常大的团体来说，优势消失。在实际方面，我们实例化了几个网格系列，包括 1) PO2(NF4)，它将标准 NF4 正常网格与学习网格配对；2) MPO2，一个通过实际权重和激活完全学习的网格对；3) PO2(Split87)，一个显式零非对称网格；4) SFP4，一个 TensorCore 可实现的三元组，它将 NVFP4 与两个移位变体配对。标准开放模型的 后训练 量化和 Llama 类模型的 预训练 量化结果表明，在仅权重和权重+激活下，自适应网格相对于单网格 FP4 始终提高了准确性。源代码可在 https://github.com/IST-DASLab/GridGames 获取。