Zephon 新仓库提供可弹性恢复的确定性基础模型数据加载

Zephon 是面向基础模型训练的数据加载库，将 Dataset、WorkSource 和 Pipeline 分开：数据来源、抽样混合及顺序由 WorkSource 管理，在线分词、过滤、序列打包等由算子流水线执行。checkpoint 保存加载位置，恢复时维持 canonical_replicas 通道数；数据并行组数必须整除通道数，优化器每步消耗也需满足约束。这样可在允许的 GPU 数变化下保持每个全局 batch 的数据一致，但不承诺归约和内核差异下的权重完全复现。支持多种本地与云存储格式，Python3.10+，部分能力需要可选依赖；提供 TorchTitan 和 Megatron-LM 参考集成。许可 Apache2.0。