开源项目

sgl-project/sglang:投机解码默认调度机制调整

sgl-project/sglang

模型推理投机采样

概述

sgl-project/sglang是主流开源大模型推理与服务框架。本次事件为其一次正式版本发布:新版本改变了多种投机解码路径的默认调度机制,涉及范围超出一般缺陷修复或针对单一模型的适配,意味着投机解码的启用策略与资源分配在默认行为层面被调整。对吞吐敏感、已启用投机解码的推理服务,升级后默认性能特征可能变化,应重跑性能基线并按需显式配置。