TRL以训练消耗的token预算约束异步GRPO生成

TRL用于语言模型后训练。此前max_staleness只在训练端丢弃旧样本，固定样本数队列无法反映token预算批次的真实消耗。此次生成worker与训练器共享token额度：已排队token及在途rollout的估计token超过额度时，不再启动新组；已启动的组仍完整接收，避免半组阻塞。训练器以已消费token和最近一步实际消费量更新额度。queue_maxsize配置被移除，max_concurrent_rollouts默认改为512，作为环境、工具调用和连接的资源上限；使用OpenEnv时需相应提高环境容量或主动调低该值。原文以Qwen3-1.7B、GSM8K计算器工具训练做单次种子对比，分别检查生成受限和生成过快情形，不能外推为所有任务的收益保证。