开源项目
TensorRT-LLM修正MegaMoE低精度推理遗漏激活缩放的问题
Apply pre-quant scale in MegaMoE CuteDSL NVFP4 paths
概述
NVFP4 AWQ/ARC检查点包含激活预缩放信息,MegaMoE CuteDSL此前虽然读取相应scale,却没有在FP4量化输入前应用,使实际计算与检查点校准条件不符,也与其他后端结果偏离。 修正仅在相应scale存在时先缩放激活,再执行量化;普通NVFP4不走这一额外操作,零token输入保留空操作。PR包含192项CPU检查和B200上的GPU验证。其他CuteDSL分组GEMM或融合FC12叶子路径仍另行跟踪,不能概括为所有低精度路径都已修复。