开源项目

vLLM移除旧模型运行器并明确新的部署兼容边界

[Core] Remove Model Runner V1

AI 基础设施模型推理投机采样模型部署模型服务框架

概述

vLLM此次移除Model Runner V1,使调度器、工作器、模型和连接器统一采用V2。VLLM_USE_V2_MODEL_RUNNER设置为非1会使启动失败,设置为1仅保留兼容警告。旧的custom_class投机方法、异构词表、部分并行草拟组合和external_launcher下的流水线并行不再可用;x86 CPU路径需要triton-cpu,Arm、POWER及s390x上的独立CPU运行器仍保留。旧logits processor调用方式等接口也随之收敛,相关文档与示例被移除。来源记录了小模型端到端及相关配置测试,但这些不能替代使用者对自定义扩展和生产模型的迁移验证。这里计数的是11月8日主线源码交付,未把它写成正式稳定版已经发布。