开源项目

NVIDIA发布TensorRT-LLM 1.2.0正式版

NVIDIA/TensorRT-LLM

模型推理分布式推理

概述

NVIDIA于2026年3月13日发布TensorRT-LLM正式版1.2.0。该版本新增分离式服务动态发现与取消请求能力,改变分离式推理的扩缩容与请求生命周期机制;rc候选版本变更不计入。项目采用Apache-2.0许可,提供Quick-start入门入口。本次信号属于成熟工程Release聚合。