开源项目
TRL为AsyncGRPO加入前缀树打包,并补齐Trainium训练链路
TRL v1.16.0
概述
TRL是面向语言模型后训练的开源训练框架。本次AsyncGRPO将微批次组织成前缀树,让多个rollout重复出现的提示及历史只执行一次前向计算,并沿根到当前分支路径组织注意力。官方以Qwen3-1.7B、每条rollout 32K token测试,在重复率较高的嵌套分支下,前向加反向耗时从8172毫秒降至2635毫秒,峰值显存从35.2 GiB降至13.5 GiB;没有共享前缀时约增加1%开销。该版本还补齐AWS Trainium训练支持,Neuron上默认把输入长度补齐到128的倍数,减少形状变化引发的重编译,并提供使用指南。两项变化共同构成此次训练框架更新,普通修复和模型适配不拆分计数。