开源项目

SGLang 0.5.21:扩展模型支持、推理接口与缓存运行时

v0.5.21

AI 基础设施推理服务

概述

SGLang是面向大语言、多模态和生成模型的推理服务框架。0.5.21增加DeepSeek-V4.1 Flash、MiMo-V2.6、Qwen-Image 2.1等模型支持,提供/v1/decisions分类评分接口和单请求候选评分接口。Prefill/Decode实例可在运行中切换角色,统一前缀缓存默认使用Rust核心,不支持的配置回退Python。用户可安装sglang==0.5.21或采用对应CUDA、ROCm、XPU及CPU镜像。升级须检查已移除接口和环境变量;请求自行提供聊天模板默认被拒绝,需服务端显式启用。部分性能改进仅适用于发布说明中的特定模型、后端和部署设置。