vLLM以统一预算与单批回放降低视觉编码图的显存占用

vLLM此次为视觉编码CUDA图引入统一的encoder_cudagraph_max_token_budget，默认5120，并采用更细的捕获预算网格。每个编码批次只回放一个能容纳全部输入的最小图，超过上限或条件不合适时，整批走eager，避免拆成多次补齐回放。作者在GB200、TP1和实权重下，对已包含共享捕获缓冲的主线进行同批次对照：DeepSeek-V4.1-Flash的编码图捕获显存由6.29降至2.25 GiB，Qwen2.5-VL-7B由3.59降至1.34 GiB；这为视觉服务提供新的显存预算选择，不代表整模型驻留显存同比减少。上限也有代价：部分较大Gemma 4批次转eager后可能变慢，可按负载提高预算。测量只覆盖GB200上的编码阶段，不能外推为完整请求吞吐、其他GPU收益或所有多模态错误均已解决。本条按主线源码中的统一资源机制交付计数，同日输出clone等修补只保留内部背景。