vLLM按图捕获和预热后的真实余量扩展KV缓存

vLLM用于大模型在线推理服务。 KV缓存原先在CUDA图捕获前按估算分配，必须为后续图和工作区预留较大显存余量。 先保留稳定虚拟地址，只映射捕获预热会访问的页；之后测量实际空闲和瞬时峰值再提交最终KV块数。V2 runner在CUDA与ROCm默认启用。 作者GB200八模型默认KV token约增4—10%；显式0.92利用率时可能比旧值小1—4%，并非无条件扩容或消除全部OOM。 本条依据固定源码与官方交付说明整理；代码合入不冒充稳定安装包，性能与测试结果为原作者披露，未做本地模型运行复现。