论文
推测的局限性:在专家混合中限制推测解码
The Limits of Speculation: Bounding Speculative Decoding in Mixture-of-Experts
摘要
混合专家(MoE)模型中的推测解码面临着由输入依赖的专家加载导致的验证成本不稳定的问题。为了研究这个过程的物理原理,我们将推测预算选择制定为参考序列上的离线随机最短路径 (SSP) 问题,并构建一个使用反事实模拟来考虑 MoE 验证成本的诊断预言机。在边缘增量空间(Delta Space)中对 Oracle 对 Qwen3-Coder 和 EAGLE-3 配对的决策进行详细分析表明,被拒绝的候选者形成了严格的线性边界。该结果表明,复杂的全局优化是由平衡边际成本与预期进度的必要条件局部控制的($\frac{\Delta \mathbb{E}[Cost]}{\Delta \mathbb{E}[a]}$),为设计未来的自适应在线启发式提供了严格的数学参考点。