论文

SlackDrive:依据运行时余量分配驾驶推理预算

SlackDrive: Reclaiming Runtime Slack for Adaptive Driving Inference

AI 基础设施推理服务

摘要

驾驶世界-动作模型通过将多模态推理与未来预测耦合来改进规划,但其不断增长的推理成本与车辆控制的实时时延要求日益冲突。现有加速方法通过部署前选定的策略削减token、层或采样步数,但在共享车载算力上完成离线剖析与静态调度之后,剩余的运行时波动基本未被利用。我们观察到,最大可容许的计算预算随剩余运行时状态系统性变化,而最近实际实现的时延为可用计算余量提供了直接信号。受此启发,我们提出SlackDrive,一个推理前的计算分配器,它在模型执行前复用已实现的时延来选择每个控制步的计算预算。SlackDrive只需一次性剖析一个小型离散预算集合的时延与规划效用,从已完成的forward中在线估计计算状态,并选择预测仍处于可容许时延包络内的最高效用预算,在保留驾驶骨干及其计算执行器的同时补充现有的剖析与资源调度。在NAVSIM v2上配合DriveDreamer-Policy,在严格的时延约束下,SlackDrive将时延受限EPDMS较最强基线提升21.7%,而全预算模型与预配置的token剪枝基线在运行时争用下会超出可容许时延包络。

SlackDrive:回收运行时余量以实现自适应驾驶推理:论文配图
图 1:动机与问题形式化。(a) 全 token 方法使用最大算力,已有高效方法使用固定预算,而 SlackDrive 逐步自适应调整预算。(b) 可容许预算随实测推理时延变化,SlackDrive 在下一次前向传播前选择最大的可行预算。(c) SlackDrive 以实测时延状态 c(t−1) 为条件、在冻结主干上进行世界-动作推理。