OUTLETS：推测解码 Backbones 的输出长度预测

大语言模型（LLM）服务中输出长度的重尾分布给资源配置和集群调度带来了重大挑战。尽管输出长度预测可以缓解这些问题，但现有方法存在主要缺点：外部代理模型会增加大量延迟，并且保真度通常有限，而基于内部状态的方法虽然有效，但依赖于对当前模型状态的浅层探测。我们确定了 推测解码 (SD) 和长度预测之间的结构联系：高级框架（例如 EAGLE-3）中的草案解码器产生的潜在表示编码可预测生成长度的信号。基于这一见解，我们引入了 OUTLETS（推测解码 Backbones 的输出长度预测），它将推测性主干网重新用作轨迹感知长度预测器。当 推测解码 的草图表示已经计算出来时，OUTLETS 仅添加一个轻量级回归头，并实现比评估方法更低的 MAE。在饱和的分类服务下，OUTLETS 预测使标准调度策略能够优先考虑较短的请求，并在解码实例之间更均匀地分配请求，从而将短请求 P99 延迟减少 34.8%。