论文
超越并行盲点:块起草中的信息层和模型差距
Beyond Parallel Blindness: Information Floors and Model Gaps in Block Drafting
摘要
在实现较早的目标词元之前,区块起草者在一次前向传递中提出多个词元。它们的拒绝混合了两种损失:丢失块内路径信息和可观察信息的不完善建模。接受的长度无法区分它们。我们用信息底线将两者分开,即在指定条件指令下的最小预期拒绝;在此层之上的拒绝是模型差距。对四个领域和四个开放权重目标的测量,加上对前沿 API 目标的底线估计,得出了三项发现。首先,Qwen3-4B 的最后一个插槽的全并行下限达到 $0.286$,即使是最好的提案也限制在每个插槽接受的 $71\%$ 左右。其次,一个已实现的词元会移除该下界的 $86$--$100\%$,这一区域也通过独立的互信息分析恢复。第三,目前的起草者仍然远远高于他们的底线:最终插槽模型的差距占 DFlash 拒绝的 $43$--$64\%$ 和 DSpark 的 Oracle 条件拒绝的 $85$--$92\%$。在短程调节与提案质量分离的指导下,我们用前缀注意头替换了与上下文无关的前驱校正,该前缀注意头读取基于前驱的已提交上下文条件。通过支持主干组件,最终的 Qwen3-4B 绘图器将九个任务中已发布的 DSpark 检查点的平均服务可接受长度提高了 $3.93\%$,而无需增加调节顺序。代码和数据:https://github.com/tie-pilot-qxw/specfloor;起草者检查点:https://huggingface.co/TIE-Pilot/dspark-attnconv-block7-qwen3-4b。