开源项目

LMResiliency/lm-resiliency:分布式大模型预训练容错定位与检查点快速恢复的开源工程

LMResiliency/lm-resiliency

模型训练预训练

概述

lm-resiliency是面向分布式大模型预训练的独立容错工程,在既有训练栈上叠加两道运行时保障。SCOUT针对隐性与复现的SDC(静默数据损坏)、被污染的恢复状态、慢节点与受支持硬件故障:精确定位故障的rank、GPU、节点或通信端点,认证恢复检查点安全性,并经torchrun触发自动重启或备机替换。GEMINI针对持久检查点慢且频率低的问题:提供高频异步内存检查点、对等副本复制与从邻近状态快速恢复。兼容PyTorch 2.10–2.13、TorchTitan 0.2.2、Megatron Core 0.18.2、DeepSpeed 0.19.4,BSD-3-Clause许可,附arXiv:2608.11034报告。此次更新即仓库首次发布;性能数字与验证细节需见仓库文档。