开源项目
TensorRT-LLM 1.3.0rc29:扩展模型适配并移除旧入口
v1.3.0rc29
概述
TensorRT-LLM是面向NVIDIA GPU的大模型推理优化与服务框架。1.3.0rc29为预发布候选版,包含Qwen3.5 FP8全局权重、Gemma4视觉旋转位置编码、Kimi K3 NVFP4 MoE及MiniMax M3图执行等相关适配,以及DSpark投机解码Helix验证路径的调整。发布说明同时列出不兼容变化:AutoDeploy公开入口被移除,cpp_only选项也被移除;媒体URI增加验证,获取私有URL需要显式启用。迁移应依据具体模型、量化格式与服务入口逐项核对。候选版的适配与修复不等同于所有硬件和模型组合都已稳定,也没有证明统一吞吐提升。