LEAP：复用prefill隐状态在线预测输出长度以调度LLM请求

长度感知调度通过优先考虑较短的请求来减少 LLM 服务中的请求延迟。然而，尽管模型规模很大，但长度预测器在领域和任务转移下可能会遭受排名性能下降的影响，并且适应它们可能需要昂贵的再训练。它们的预测开销可以进一步抵消调度的好处。为了提高长度感知调度的泛化性和效率，我们提出了 LEAP，一种具有快速在线自适应和异步 CPU 执行的长度预测系统。 LEAP 重用服务模型的预填充隐藏状态（其中包含有关输出长度的信息），并通过线性读出提取该信号。为了适应实质性的领域和任务变化，它通过递归最小二乘法在测试时更新读出层，使用已完成的请求作为监督，而无需梯度计算或历史数据重放。预测和更新在 CPU 上异步运行，而预测和初始批量排序与剩余的 GPU 预填充重叠。在评估的跨域转移中，LEAP 保留了强大的排名性能，在线适应在较大的域转移下将 Spearman 相关性提高了 64.7%。服务实验表明，与评估的长度预测器相比，LEAP 将平均每个token延迟降低了 15.9--40.8%，同时与最强的评估基线相比，预测器参数量仅为其1/30,569，吞吐量提高了 1.9%。