开源项目
SGLang扩展量化专家分页并校验加载一致性
Paged Experts: AWQ, compressed-tensors, MXFP4, NVFP4, W8A8 and block-INT8
概述
SGLang的专家分页将部分MoE专家保留在主机内存,按路由需求搬入GPU。此前支持未量化、分块FP8和GPTQ;主线新增AWQ、compressed-tensors多种格式、MXFP4、NVFP4以及W8A8、分块INT8路径,并依据实际执行器区分Marlin和Triton工作契约。 实现从层参数识别专家张量,避免遗漏偏置、零点或缩放;分块重排前恢复转换状态,并以重叠专家块进行字节一致性校验,不兼容执行器会在启动时拒绝。针对gpt-oss的加载初始化和图捕获也作了配套处理,作者披露完整模型与小型模型对照。不同格式及硬件仍受执行器要求约束,不能将格式列表等同于任意量化模型均可无差别运行。