开源项目

InternLM 发布 LMDeploy v0.12.2 重构推理内核分发机制

InternLM/lmdeploy

模型推理推理加速

概述

InternLM 团队维护的推理框架 LMDeploy 发布 v0.12.2 正式版,信号锚定的发布日期为2026年3月18日(北京时间)。此次更新超出常规缺陷修复与单一模型适配范畴,改变了推理内核的分发机制,新增注意力内核自注册与解耦分发。版本同时引入多模型在线 FP8 量化能力,并随附运行指南。项目以 Apache-2.0 许可证开源,代码托管于 GitHub。