论文
JigsawRL：组装 RL 管道以实现高效 LLM 后训练
JigsawRL: Assembling RL Pipelines for Efficient LLM Post-Training
摘要
我们提出了 JigsawRL，这是一个经济高效的框架，它将管道复用作为 RL 并行性的新维度进行探索。 JigsawRL 将每个管道分解为子阶段图，暴露阶段级系统隐藏的阶段内和工作人员间的不平衡。在这个抽象上，JigsawRL 通过动态资源分配解决了多路复用干扰，通过在工作线程之间迁移长尾部署来消除碎片化利用，并将它们的协调制定为通过前瞻启发式解决的图调度问题。在跨不同代理 RL 管道和模型的 4-64 个 H100/A100 GPU 上，JigsawRL 在同步 RL 上实现了 Verl 高达 1.85 倍的吞吐量，在异步 RL 上比 StreamRL 和 AReaL 实现了 1.54 倍的吞吐量，并支持具有适度延迟权衡的异构管道。