开源项目

vLLM TorchTPU交付0.29安装包,扩展PyTorch模型的TPU部署

vLLM TorchTPU 0.29.0

AI 基础设施模型部署推理服务模型服务框架

概述

vLLM TorchTPU是面向Google Cloud TPU的vLLM执行后端。0.29.0公开交付由两层包组成:vllm-torchtpu提供匹配的vLLM服务代码,并明确依赖vllm-torchtpu-core0.29.0;核心wheel包含平台注册、TorchTPU编译接口、TPU worker、模型runner、定制内核和缓存处理实现。仅查看外层源码包会漏掉真正插件,因此本次把两个实际发布物一并核对。 插件通过vllm.platform_plugins注册TPU设备,编译接口将FX图交给TorchTPU的编译与可执行缓存路径,按形状桶管理编译产物;worker初始化设备和分布式执行,连接模型运行、KV缓存及预填充/解码等组件。使用者可沿用vLLM服务入口组织推理,不必为每个PyTorch模型重写一套JAX模型定义;具体模型、算子和并行组合仍受插件实现与支持范围限制。 0.29核心包限定Python3.12,并绑定Torch2.13、TorchTPU0.2、JAX/libtpu等版本;需使用Cloud TPU VM与匹配软件环境,项目建议Ironwood,其他代际状态应以文档为准。首次形状编译与缓存建立带来启动开销,不能据设备扩展直接推断完整请求时延或成本优势。代码采用Apache2.0。本次已下载外层sdist和核心wheel,核对官方SHA256、依赖、入口及实际代码,未在TPU运行推理或性能测试。 日期按北京时间20日实际安装包上传归属;介绍博客虽标20日,其源文件提交已是北京时间21日,未用博客的日期占位时间倒推包的公开时刻,也不把后续主线修改全部写成0.29新特性。