开源项目
InternLM/lmdeploy:LLM推理部署引擎与工具箱
InternLM/lmdeploy
概述
LMDeploy是InternLM推出的LLM推理部署工具箱,核心为TurboMind引擎,提供多语言文档与社区渠道。TurboMind混合精度推理论文于2026年8月被EuroSys 2027接收;2026年4月PyPI扩大存储配额后,v0.12.3恢复可直接pip安装;2026年2月先后新增对Qwen3.5系列与llm-compressor量化格式的支持。本次正式版改变推理引擎系统机制,并扩展前缀缓存与投机解码控制,属于触及核心路径的变更,生产环境升级前建议完成吞吐与时延回归测试。