开源项目
LMDeploy：v0.12.0新增Gloo通信支持
InternLM/lmdeploy
概述
lmdeploy是InternLM开源的大模型推理部署工具箱，内置TurboMind引擎，面向自建推理服务的工程师，采用Apache-2.0许可并配有Quick Start文档。v0.12.0为TurboMind新增基于Gloo的通信方式及通信器配置项，通信机制由此发生实质扩展，不再只是模型与量化格式的适配。对分布式部署场景，这提供了更多的通信后端选择，可按网络环境通过配置灵活调整。
InternLM/lmdeploy
lmdeploy是InternLM开源的大模型推理部署工具箱，内置TurboMind引擎，面向自建推理服务的工程师，采用Apache-2.0许可并配有Quick Start文档。v0.12.0为TurboMind新增基于Gloo的通信方式及通信器配置项，通信机制由此发生实质扩展，不再只是模型与量化格式的适配。对分布式部署场景，这提供了更多的通信后端选择，可按网络环境通过配置灵活调整。