SGLang v0.5.22扩展投机解码、分离式推理与模型加载优化

SGLang是面向语言与多模态模型的开源推理服务框架，仓库采用Apache 2.0许可。v0.5.22将多组模型及硬件上的投机解码优化合并发布，包含DeepSeek、Qwen、GLM与MiMo系列的专门实现。官方披露的结果对应指定配置，例如DeepSeek V4.1在H200上的最高2.3倍提升，不能推广到所有模型。基础设施方面，InstantTensor loader提供更快加载；PD分离优化在长提示设置下报告吞吐增加27%、P95首token时延约减半；HiSparse可与EAGLE/MTP结合，将KV负载延伸到CPU内存。版本还扩展DCP与MTP组合、Apple Silicon标准PyTorch后端，以及扩散工作流中的GGUF和LoRA支持。重要正确性修复涉及混合线性模型投机与结构化生成后的Mamba状态恢复。安装需要Python 3.11及以上，可固定sglang==0.5.22复现该版本。