DynaTrain：用于弹性 LLM 训练的快速在线并行度切换

现代 大语言模型 (LLM) 训练本质上是动态的：资源波动、RLHF 相移和集群弹性不断重塑最佳并行布局，对围绕静态执行模型构建的现有训练框架提出了重大挑战。我们推出了 DynaTrain，这是一种分布式训练系统，可实现跨任意多维并行的亚秒级在线重新配置。其核心是，我们提出了一种虚拟参数空间（VPS）抽象，它将所有分布式训练状态统一在一个逻辑坐标空间下，将任何并行配置转变为确定性映射，并将复杂的过渡分解为可管理的几何交集。在 VPS 之上，状态路由和转换层在内存感知、无死锁调度下执行排名本地传输，弹性设备管理器将新世界构建与持续训练重叠，以掩盖拓扑更改成本。在高达 235B 参数的密集和 MoE 模型上，DynaTrain 在 2 秒内重新配置 70B 密集模型，并在 4.36 秒内重新配置 235B MoE 模型，其性能比最先进的基于检查点和弹性系统高出三个数量级，同时保持正确性。