开源项目

SGLang 允许多台推理服务共同分片共享 Engram 表,减少重复内存

[Perf] dsv41: Share Engram tables across servers with replication group_shards

模型推理AI 基础设施分布式推理模型部署

概述

SGLang 为 DeepSeek-V4.1 Engram 表增加 replication: group_shards 配置。原先每个服务各保存一份大表,即使同一节点部署多个小规模预填充服务也重复占用 DRAM 或 HBM。新方案在同一 NVLink 域内跨服务分片,可选择 GPU 内存或相应 NUMA 主机内存,通过共享目录发布分配句柄和就绪标志,查询直接读取相应分片。目录必须每次部署为空,组大小一致;组内任一服务重启需要协调重启整组。它减少不可变表的重复副本,代价是更强的部署与故障耦合。