开源项目
LMDeploy v0.18.0：扩展推理后端与模型服务能力
InternLM / LMDeploy v0.18.0
概述
LMDeploy 是大模型推理与部署工具，提供推理后端、量化和模型服务能力，面向需要运行模型 API 的开发者与平台团队。 v0.18.0 增加输入 logprobs、Qwen3.5 DFlash 和昇腾 GLM5.2 支持，并更新量化、缓存以及工具参数的流式服务。 更新涉及多个后端与服务路径，部署方可按所用硬件、模型和工具调用流程验证对应功能。
InternLM / LMDeploy v0.18.0
LMDeploy 是大模型推理与部署工具，提供推理后端、量化和模型服务能力，面向需要运行模型 API 的开发者与平台团队。 v0.18.0 增加输入 logprobs、Qwen3.5 DFlash 和昇腾 GLM5.2 支持，并更新量化、缓存以及工具参数的流式服务。 更新涉及多个后端与服务路径，部署方可按所用硬件、模型和工具调用流程验证对应功能。