激活异常值很重要：量化多模态的稳健恢复 LLM

低位量化为减少多模态 大语言模型 (MLLM) 的计算和内存需求提供了一条有前途的途径。最近对低精度格式（从 MXFP8 到 MXFP4 和 HiF4 等超低位格式）的硬件支持加速了对高效 MLLM 训练和部署的研究。在这项工作中，我们对代表性 MLLM 中的量化方案进行了系统研究，涵盖视频生成和推理任务。我们的分析表明，MXFP8 实现了近乎无损的性能，而激进的 4 位量化会导致显着下降。通过广泛的消融，我们确定激活量化是这种性能损失的主要来源，其贡献远远大于权重量化。受这一观察的启发，我们提出了残差回退量化（RFQ），这是一种轻量级激活重建框架，它通过辅助量化残差路径补充了主要的超低位激活表示。通过显式建模和补偿量化误差，RFQ 提高了激活保真度，同时保留了超低位计算的效率优势。 RFQ 不需要架构修改，并且产生的计算开销可以忽略不计。在 Wan2.2 和 Qwen3-VL 上进行的大量实验表明，RFQ 一致地恢复了 MXFP4 和 HiF4 量化下损失的大部分性能，显着缩小了第 4 代和第 4 代推理基准测试中与 BF16 基线的差距。我们的研究结果将激活量化确定为超低位 MLLM 的主要瓶颈，并强调基于残差的激活重建是稳健 4 位部署的有效且实用的策略。