vLLM 0.32扩展结构化决策、通用解析与低精度KV服务能力

vLLM是用于自托管大模型推理和服务的开源框架。本次0.32.0正式版提供POST /v1/systemone，在结构化状态上返回choice、noul或score类决策；新的hf工具与推理解析器读取检查点中的response_template，减少逐模型编写解析器的需要，覆盖Python和Rust前端。 版本扩大NVFP4及其他低位KV缓存路径，改进多API进程负载分配、内核预下载和预热。官方报告的43%—85%请求吞吐提升来自Qwen3-0.6B、32输入/1输出token的短请求条件，不能外推为所有模型收益；GLM-5.x在SM100默认FP8 KV的显存与吞吐收益也伴随首token延迟代价。 代码以Apache-2.0开放，提供PyPI安装及CUDA、ROCm、CPU等容器制品。升级需注意不再支持Python 3.10、默认CORS不再开放所有来源、依赖版本范围，以及Responses API推理流事件名称变化。低位缓存与并行优化仍取决于模型、硬件及配置。