TreeWY：面向Gated DeltaNet混合模型的投机验证

现代开放模型是混合架构：大多数层是线性注意力（Gated DeltaNet，GDN）层，携带小的固定大小循环状态，而非不断增长的键值（KV）缓存。这使普通解码在内存上高效，却损害了投机解码。为了验证一批草稿token并回滚被拒绝的部分，当今系统会在每个草稿位置为GDN层完整快照循环状态，而这些快照无法在草稿树的分支之间共享，因此宽且高接受率的草稿树在内存上不可行。我们移除了这些快照。利用门控delta规则的树状WY变换，我们用一次三角求解计算每个草稿节点的输出，并在提交时只重建被接受的那一个状态，存储一个小的伪值矩阵来代替每个节点的状态；该推导只依赖门控delta规则，不依赖任何其他架构细节。在一个混合模型家族的两个规模（Qwen3.5 35B和397B）的服务基准上，这在相同接受长度下削减了投机循环状态内存和KV缓存压力，在内存构成瓶颈之处把释放出的HBM转化为更高吞吐量和大幅更低的首token时间（TTFT），在不构成瓶颈之处则付出几个百分点的代价。对树宽度而言，同样的内存换来了可负担性：更宽、更高接受率的草稿成为可能，但尚未成为吞吐量上的收益。