TensorRT-LLM在首token期限临近时暂停解码以接纳等待请求

TensorRT-LLM在已有TTFT分位数准入队列之上加入GEN槽抢占。解码槽满时，控制器可暂停一个驻留请求，让临近首token目标的等待者进入。暂停请求保留KV、循环状态以及DFlash/DSpark槽，并在恢复时优先于新请求；最长暂停期限触发强制恢复。配置通过scheduler_config.gen_preemption选择tpot_budget或target_output_tps之一，默认关闭，要求自动GEN准入与V2 KV调度器，拒绝流水线并行和attention DP。固定暂停容量会增加驻留池预算，暂停并不释放KV页面。较早控制器版本在32张GB300的Kimi-K3工作负载中将TTFT p90从13.48秒降至10.99秒，同时平均TPOT从24.2升至25.8毫秒；该结果早于最终复审修改，作者没有重跑最终GPU性能。