开源项目

SGLang 0.5.19:加入束搜索与DeepEP v2支持

sgl-project/sglang

概述

SGLang 是大模型推理服务框架,处理请求调度、生成策略和跨请求缓存复用。 SGLang 0.5.19加入束搜索、DeepEP v2,并默认使用统一Radix树。 束搜索会保留多个候选生成路径,而非只沿单一路径继续生成。DeepEP v2 涉及分布式专家通信;统一 Radix 树用于组织可复用的前缀缓存。升级同时改变生成和缓存路径,应分别做对照。