SGLang为昇腾MoE加入在线W4A8量化与按完成度加载

SGLang此次将--quantization mxfp_w4a8扩展到昇腾MoE专家。用户可直接提供未量化FP16/BF16检查点，无需另加在线量化开关；Linear与MoE的W13、W2按各自本地TP/EP分片完成度转换为MXFP4，并配合MXFP8激活，避免在全部加载结束后仍长时间保留浮点源权重。预量化ModelSlim检查点维持原路径，非对齐Linear仍可回退浮点。原文保留了昇腾950相关内核轮子的依赖，当前本地检查使用NPU模拟，非NPU端到端验证。作者引述部署用户对同一加载窗口的配对测量，峰值allocated从约65.964 GiB降为20.603 GiB；该结果只覆盖模型构造、加载和后处理，不含随后KV池、图捕获及服务工作负载，不代表最终常驻内存或吞吐同幅改善。