开源项目
SGLang 0.5.20 更新统一 Radix 缓存与执行机制
sgl-project/sglang
概述
SGLang 是大模型推理与服务框架,负责请求调度、缓存复用和模型执行。 0.5.20新增统一Radix树、采样掩码、服务模拟器及多种推理服务优化。 用于强化学习采样轨迹的采样掩码:启用return_sampling_mask后,每个解码步骤返回采样器实际使用的候选Token集合,以及所采Token在该集合下的对数概率,使训练器无需重建top-k或top-p即可重放采样轨迹(#36630)。