开源项目
vLLM从已加载副本为新守护进程播种权重,支持同机IPC与跨机RDMA
[Fast Start] Add weights mirror support for daemon2daemon
概述
vLLM预加载栈新增vllm preload --weight-cache-seed,让新副本从已有守护进程取得权重分片。同机通过CUDA IPC,跨机通过Mooncake RDMA,目标仍是普通守护进程,可继续为后续副本播种。传输前检查WeightCacheKey及rank对应,远端控制先认证再解析JSON,本地搬运器不向远端公开。作者在GB200节点验证Qwen3-30B-A3B完整就绪链路,由230秒降至100秒。DeepSeek-V4.1-Flash的502GiB权重跨两节点约9.3秒、聚合约54GiB/s传完,但该例只验证数据面:DeepGemmMxfp8BmmLinearKernel尚未声明预处理权重支持,使镜像当时不能进入READY,仍需后续适配。收益取决于缓存、拓扑和已有副本,不能把数据传完当作服务可用。