淘天以同步分组采样优化TLiveOmni训练

淘天团队基于 ms-swift 框架与 DeepSpeed 分布式引擎（PyTorch 2.8、ms-swift 3.9.1、DeepSpeed 0.18.0）训练 TLiveOmni 1.0，采用 Flash Attention 2 充分利用 GPU SM 减少 Attention 计算 IO，并引入 Liger Kernel（Triton 算子库）对 RMSNorm、SwiGLU 与 CrossEntropyLoss 做算子级优化，最终训练时显存峰值降低 55%，使模型可支持更长上下文。 针对大规模分布式训练中「全局强同步」与视频/音频/图文异构数据导致的动态计算图冲突（频繁死锁、负载不均），团队先后尝试随机模态采样器（Padding 比例极高）与定长序列打包（Global Batch Size 动态变化、收敛性能下降），最终设计并实现同步长度分组采样器：离线阶段量化每个样本的 Token 序列长度作为分桶元数据，执行模态强隔离 + 桶内长度排序 + 全局批次切分生成索引注册表，采样时由 Global Sampler 兼容 DP/PP/TP/CP 混合并行做同步分发，使 Rank 0 到 Rank N 每轮迭代的序列长度高度对齐。 实测结论为子数据集 Token 长度方差越大加速收益越明显，综合加速 50%+，并彻底解决了训练死锁。