MF-QAT：用于弹性推理的多格式量化感知训练

量化感知训练（QAT）通常针对单一目标数字格式执行，而实际部署通常需要根据硬件支持或运行时约束在推理时选择数值精度。我们研究多格式 QAT，其中单个模型经过训练，可以在多种量化格式中保持稳健。我们发现多格式 QAT 可以在每个目标精度上与单格式 QAT 相匹配，从而产生一个在不同格式（甚至是训练期间未见过的格式）中总体表现良好的模型。为了实现实际部署，我们提出了 MXINT 和 MXFP 的切片和缩放转换过程，将高精度表示转换为低精度格式，而无需重新训练。在此基础上，我们引入了一个管道，它（i）使用多格式 QAT 训练模型，（ii）存储单个锚定格式检查点（MXINT8/MXFP8），以及（iii）允许在运行时动态转换为较低的 MXINT 或 MXFP 格式，并且精度下降可以忽略不计或没有额外的影响。这些组件共同提供了一条实现弹性精确扩展的实用路径，并允许在跨不同部署目标的推理时选择运行时格式。