开源项目

TRL把数学奖励验证移入可强制终止的独立进程

Grade accuracy rewards in a separate process so a pathological answer can't hang training

模型训练AI 基础设施模型评测强化学习分布式训练基础设施评测方法与指标RLVR

概述

TRL用于语言模型后训练。AsyncGRPO在线程中执行奖励时,math-verify的signal超时不可用;某些SymPy表达式在主线程也不能及时中断。作者在两张H200、Qwen3.5-2B与DeepMath中观察到6至22分钟停顿。新工作进程以stdin/stdout接收评分,串行锁保护请求;解析、验证保留各自软时限,父进程30秒硬超时后杀掉并重建,当前样本记0分。启动用Python -c,避免spawn重新导入训练脚本或pickle训练器。回归同时输入病态答案与正常答案,要求结果为[0,1];这提供奖励执行隔离,不是新的数学判分标准。