LoongForge：按实际计算开销动态均衡DP负载

LoongForge 是多模态模型训练框架，面向需要扩展数据并行训练的工程团队。 此次负载均衡先在热身阶段估计Attention、线性计算和固定开销，再在线重分配样本；跨微批次追踪负载，并在DataLoader线程中与GPU计算并行完成数据交换。方案也处理ViT与文本输入的对齐。 来源报告DP256约提升3.3%、DP512接近10%，对照条件关闭All-Reduce通信重叠。收益与序列分布、并行配置和硬件相关，不能直接外推到其他训练负载。