论文
GDN Tree-Scan:循环混合语言模型的服务树验证
GDN Tree-Scan: Served Tree Verification for Recurrent-Hybrid Language Models
摘要
树推测解码验证一个目标前向传递中的多个候选延续。对于只关注Transformer,验证者主要需要一个祖先掩码。循环混合语言模型打破了这一假设:候选行还必须携带本机顺序解码沿着其根到节点路径产生的循环状态。否则,验证者可以使用正确的注意力掩模,同时仍然以不可能的循环历史为条件。我们推出了 GDN Tree-Scan,这是一个集成到 vLLM 中的 Gated-DeltaNet 混合语言模型的服务验证器。该系统结合了 FlashAttention-2 树偏置注意力、分支本地 GDN 扫描/重放、设备端多草案承诺和仅接受链状态发布。在公共 Qwen3.6-27B-FP8 检查点上,在温度为 0.6 的干净批次一 (B=1) SWE/Codex 解码门中,六节点根分支树在接近本机验证转发时间将提交的词元/事件增加了 17.2%,并达到 23.88 词元加权解码词元/秒,而本机五步 MTP (E5) 为 18.80,提高了 27.0%词元加权解码吞吐量增益。每个请求的相等延迟视图为 +4.0%,并且端到端任务隔离时间仍然处于预填充状态。经验等价证据的范围是观察到的本机翻转地板内的循环预言概率重新评分(p-rescore)闭包,而不是完整的分布距离证明。