开源项目
vLLM让同一引擎的DP副本共享主机PLE表
[Model][Core] Share the CPU-offloaded Qwen4Exp PLE table across co-located DP replicas
概述
vLLM此前虽默认开启CPU卸载表的dp_shared_memory,Qwen4Exp仍为每个DP rank固定一份PLE表。此次节点内同组rank通过一份/dev/shm映射和CUDA注册共享表,仅组长加载,其他rank等待;共享内存或主机容量不足、映射注册失败时,全组回退每rank私有表。embedding_across_dp已分摊词表时不再共享。作者在4张GB300、Qwen3.8-Flash-Next-FP8、DP4+EP条件下测得服务主机RAM占用由307.8降至100.1GiB,单轮吞吐差异在1.4%内;并发输出本身不保证逐位复现。范围仅限NVIDIA、同一引擎的节点内DP组,AMD仍为私有表,独立prefill/decode引擎也不共享。初稿跨独立进程的命名文件模式已移除,不能作为本次已交付能力。