开源项目
Dynamo 显式按节点放置 MPI 进程,恢复 ARM 多节点 TensorRT-LLM 启动
fix(operator): place TRT-LLM multinode MPI ranks on every node
概述
Dynamo 是分布式模型推理与服务框架,其 Kubernetes Operator 可为 TensorRT-LLM 生成多节点启动命令。ARM64 镜像采用 Open MPI 5 后,未声明 slot 的主机列表加 oversubscribe 会把所有进程放到首节点;两节点各 4 GPU 的任务因此变成 8/0 分布,而不是 4/4,继而在 GPU/NCCL 预热阶段失败。 新命令显式加入 --map-by ppr:<每Pod GPU数>:node,使 MPI rank 与每节点 GPU 数对应。兼容门限只对由 Operator 1.7.0 及之后创建的部署启用,以免升级时自动滚动所有既有多节点任务;旧 ARM 部署需重建才能取得新命令。用户自行提供的 sidecar 启动命令不受此生成逻辑控制。 作者以实际生成命令和 Open MPI 5.0.10rc2 的 rank 映射复现并验证修正,相关 Go 单元测试通过;未重新执行最初报告的双节点 GB200 集群,也未把未运行的完整部署金标测试计为通过。