论文

越线:在LLM调度中利用长度预测

Jumping the Line: Exploiting Length Predictions in LLM Scheduling

模型评测安全与风险评测

摘要

高效请求调度对降低LLM服务完成时间日益重要。最短作业优先等基于尺寸的策略优先短请求,但输出长度在生成前未知,实用调度器依赖预测长度。我们提出JIL——针对基于预测的LLM调度器的攻击:操纵调度信号以获得更高优先级并缩短完成时间。以TRAIL为案例,JIL优化对抗后缀使轻量输出长度探针低估请求长度。在两数据集四LLM、多样请求画像与部署配置上评估:JIL使预测输出长度最多降83.4%,端到端服务实验中对抗请求平均完成最快1.53倍。预测长度的缩减远大于实际输出长度的变化,暴露调度器估计与请求实现尺寸间的错配。响应效用随模型与任务而变,暴露调度优势与响应质量间的权衡。我们还评估调度器侧防御:把长度预测分组成粗区间可降低JIL的调度优势并缓解对良性请求的延迟。