TRL让Gated DeltaNet混合模型正确使用树打包训练

TRL面向GRPO训练的AsyncGRPO实验路径扩展树打包到Gated DeltaNet混合架构。每个树段用FLA变长核运行，从父段继承循环状态，反向聚合子段梯度；短卷积补入该段真实路径的前三个token，而不是顺序读取其他样本。此前新版直接拒绝这些模型，更早的序列打包会产生跨样本状态串扰。 作者用一张H100 80GB、BF16与FA3，在Qwen3.5-0.8B和2B上运行真实优化器步骤；共享前缀场景约1.4至4.4倍加速，2B分叉Agent轨迹由基线OOM变为34GiB、1.25秒完成。数据内容和Rollout为预制合成样本，没有计入生成时间，旧基线仅作耗时参照，不能当正确训练质量对照。无共享场景反而慢约5至10%。需要Transformers至少5.15，Mamba及其他非注意力层仍拒绝；代码主体Apache-2.0，FLA派生核保留MIT。