开源项目

TRL保留多轮Agent重分词漂移前的训练信号

Always fork on re-tokenization drift and remove fork_threshold_tokens (#8159)

模型训练智能体系统强化学习Agent HarnessAgentic RL

概述

TRL的实验性AsyncGRPO和OpenEnv Harness会在每轮重新渲染完整对话。此前小于fork_threshold_tokens的漂移走realign路径,漂移部分的旧回答会被当成上下文,不再参与训练;工具调用前的换行变化也可能造成整段工具调用被掩掉。此次合入删除阈值与realign选项,新的prompt若不以前轮持有token为前缀,就保留原序列并从新行继续,相关行共享稳定rollout_id。项目以Qwen3-1.7B、GSM8K计算器工具、每组一张B200采样和一张训练GPU作单种子对照,报告训练token保留与packing变化,同时整体step time并未稳定降低。该改动改变训练行、梯度和指标含义,适用于实验异步GRPO路径,不能作为通用收敛或速度保证。