开源项目
vLLM增加推理守护进程间的预热缓存共享
Add daemon-to-daemon warmup cache seeding for Preload
概述
vLLM的Preload流程通过提前加载和预热推理环境减少服务启动中的重复工作。本次主线在已有FlashInfer预热缓存设计上加入守护进程之间的共享机制,整理缓存产物的交付与接收流程,为新进程复用已有准备结果提供入口。 变化集中在快速启动基础设施,不涉及模型权重共享,也不能把KV前缀缓存命中视为相同机制。代码已合入默认分支,属于源码交付阶段;PR未给出足以推广到所有模型和硬件的完整启动性能对照,采用时需核对缓存兼容和进程间访问条件。