开源项目
SGLang在线拟合草稿接受率以调节DSpark验证预算
[Feat] spec: Online acceptance estimator for DSpark confidence-scheduled verification
概述
SGLang为DSpark confidence-scheduled验证加入在线logistic估计器,按草稿位置从logit(q_max)预测接受率,每100个观测step衰减历史并重新拟合系数。checkpoint明确关闭confidence head时可自动回退,也可用环境变量强制估计器。只给实际验证窗口内草稿贴接受标签,避免将padding误记为拒绝;系数原位更新且预测可在CUDA Graph运行。首版仅接DSpark,测试DeepSeek-V4.1-Flash;需保留完整词表logits,因此不走部分分片接受和megakernel采样组合。作者在4张B300、指定AIME负载并发256时测得TPOT比静态验证少8%,并发64则约慢2.5%;没有SPS profile表时不裁剪草稿。