Zephon：在线有状态基础模型数据加载管道的弹性确定性

确定性数据加载对基础模型开发很重要：模型研究者需要确信跨昂贵消融观察到的差异由其所改参数导致，而非训练数据序列的非确定性。数据加载器必须提供弹性确定性——尽管GPU拓扑跨运行变化（如GPU稀缺）、频繁的检查点恢复循环与不同的数据处理执行后端，全局训练数据批序列仍保持确定。实现这一点很难：现代基础模型数据管道在线token化、打包并混合样本，引入破坏样本索引的有状态n对m变换。既有数据加载器大多假设可索引的一对一管道，常见的离线物化工作区代价高且对视频等模态不可行。我们提出Zephon——支持在线有状态管道、同时提供弹性确定性与高效检查点恢复的基础模型数据加载器：把全局流划分为拓扑无关的lane，在可互换后端上并行无状态工作的同时串行化排序决策，只对有界的在途状态做检查点使恢复成本不随训练进度增长。在文本与视觉语言工作负载上评估：Zephon实现有竞争力的吞吐，同时提供既有加载器对在线有状态管道均不具备的保证组合。