产品与服务

Cloud Pathways在GKE正式可用,以单控制器管理多切片TPU作业

Cloud Pathways, a distributed ML runtime for massive accelerator fleets, now GA

AI 基础设施模型推理分布式推理分布式训练基础设施

概述

Google将Cloud Pathways(Pathways on Cloud)在Google Kubernetes Engine上的服务推进到正式可用。该分布式机器学习运行时让单个JAX客户端通过IFRT代理、pathwaysutils与异步调度管理多个TPU切片,无需每个主机分别维护Python解释器,可组织多切片预训练、强化学习循环与多主机推理。GKE GA覆盖支持TPU v5e、v5p、Trillium v6e及Ironwood TPU7x的Google云区域;文档提供版本化Artifact Registry镜像及JAX兼容表。Colocated Python sidecar可在TPU主机旁运行分布式数据加载和检查点代码,持久编译缓存降低重复编译开销。弹性训练能在芯片或切片故障时缩至健康资源,之后重新扩展;计划抢占可保存并恢复HBM状态,也支持将作业热换到备用切片。共享Pathways服务允许多用户交互式复用切片池,并提供单进程profiler与监控指标。上述机制需要按正式部署指南配置,不能等同于所有任务天然无损迁移。本次Slurm/Cluster Director集成仍是Preview,应与GKE GA区分。正文中的客户使用量是采用背景,不另作为本次产品首发证据。GKE dynamic slicing虽被同日总览再次称为GA,但GKE历史日志已在8月3日明确GA,因此不拆成11月9日第二条产品。