沙丘社区
开源项目

NextTransformer加入可验证的共享组件训练加速模式

Merge pull request #26 from henry-y/speedups/shared-components; Accept only bit-identical speedups in formal runs and record the selection; Add a reproduction tool for --speedups; Add opt-in --speedups for the components all methods share

Interactive-Active-AI
AI 基础设施分布式训练基础设施

概述

NextTransformer提供可替换架构的模型训练和对照实验。 --speedups优化各架构共享部件并减少微批次主机同步。8GPU示例从1375ms/update降至851ms、峰值75GB降至63.1GB；4GPU约1.65倍。exact核对参数、优化器状态及数据cursor；all模式约两倍但舍入不同，不能与exact混报。配套提供重现工具、来源审阅提示和正式运行选择记录。