百度百舸优化昆仑芯大模型推理冷启动

百度百舸团队把 Qwen3-235B 的 521 秒冷启动拆解为权重加载 69%、编译开销 15%、CUDA Graph 初始化 5%，据此做四项优化：一是自适应权重传输引擎，利用 NVLink/RDMA 绕开磁盘直接在节点间传输权重，接收端为每块 GPU 建立独立 RDMA 连接实现并行传输，并自动判断同机走 NVLink、跨机走 RDMA，把 348GB 权重传输缩短到约 2 秒。 二是编译缓存复用，把 Inductor 优化缓存、DeepGEMM 算子、Triton 内核等中间态统一缓存并用一致性哈希管理缓存节点，新节点启动时经 RDMA 同步，命中率 100%，扩容场景完全消除重复编译。三是 Lazy CUDA Graph 分阶段捕获，实例初始化阶段只捕获最小必要计算图，首个真实请求到达时再一次性捕获完整图，把 CUDA Graph 启动耗时从 10–60 秒降到 1–2 秒（10-30 倍加速）。 四是守护实例预铺，在 vLLM 的 sleep/wakeup 能力上预启释放了权重与 KVCache、仅保留核心 CUDA 上下文的静默实例，需要时经 RDMA 拉权重唤醒，唤醒 1–2 秒、235B 级模型约 6 秒。进程启动层面改为在创建 CUDA 上下文之前 Fork，复用父进程已加载的 Python 解释器与库依赖。 据此形成守护实例、Lazy Graph、正常 Graph 三种部署模式。实测：Qwen3-235B 原始冷启动 521.01 秒，Lazy Graph 模式 34.45 秒，守护实例唤醒 4.91 秒，最高优化率 99.06%。GLM-4.5 权重 668GB、原始冷启动 713.72 秒，Lazy Graph 模式 35.02 秒、守护实例唤醒 8.23 秒，最高优化率 98.83%。 方案整体口径为扩容耗时降低 95%、整体启动速度提升 10 到 30 倍。