开源项目

TensorRT-LLM 1.3.0rc29:扩展模型适配并移除旧入口

v1.3.0rc29

AI 基础设施模型架构智能体系统MoE智能体互操作协议模型服务框架MCP

概述

TensorRT-LLM是面向NVIDIA GPU的大模型推理优化与服务框架。1.3.0rc29为预发布候选版,包含Qwen3.5 FP8全局权重、Gemma4视觉旋转位置编码、Kimi K3 NVFP4 MoE及MiniMax M3图执行等相关适配,以及DSpark投机解码Helix验证路径的调整。发布说明同时列出不兼容变化:AutoDeploy公开入口被移除,cpp_only选项也被移除;媒体URI增加验证,获取私有URL需要显式启用。迁移应依据具体模型、量化格式与服务入口逐项核对。候选版的适配与修复不等同于所有硬件和模型组合都已稳定,也没有证明统一吞吐提升。