开源项目
LMDeploy 0.17.0：加入DeepEP v2与Mooncake KV存储支持
InternLM/lmdeploy
概述
LMDeploy 是语言模型部署与推理工具，支持模型服务、并行执行和缓存管理。 lmdeploy 0.17.0加入DeepEP v2、Mooncake KV存储及服务端请求分发支持。 v0.17.0 集成 DeepEP v2，加入 Mooncake KV 存储及服务端请求分发。通信、缓存和服务入口分别影响分布式推理，需要按自己的模型、网络和负载组合测试。
InternLM/lmdeploy
LMDeploy 是语言模型部署与推理工具，支持模型服务、并行执行和缓存管理。 lmdeploy 0.17.0加入DeepEP v2、Mooncake KV存储及服务端请求分发支持。 v0.17.0 集成 DeepEP v2，加入 Mooncake KV 存储及服务端请求分发。通信、缓存和服务入口分别影响分布式推理，需要按自己的模型、网络和负载组合测试。