论文
LLM 强化学习的高效超参数优化
Efficient Hyperparameter Optimization for LLM Reinforcement Learning
摘要
大语言模型 (LLM) 的强化学习 (RL) 对超参数配置高度敏感，这使得超参数优化 (HPO) 必不可少，但计算成本昂贵。由于庞大的模型规模和资源密集型训练周期，现有的多保真 HPO 方法对于 LLM RL 仍然效率低下。在本文中，我们提出了联合保真度超参数优化（JF-HPO），它同时适应模型大小和训练预算作为保真度。 JF-HPO 的强大之处在于：(i) 它利用目标 LLM 的小型代理模型在每个 HPO 试验中进行高效的训练和评估； (ii) 它整合了基于训练动态的精心设计的早期停止策略； (iii)它引入了有效的检查点机制来消除冗余计算。与现有的 HPO 方法相比，JF-HPO 显着提高了每次试验的计算效率（高达 14.9 倍），同时在相同的时间预算下实现更好或有竞争力的预测精度。值得注意的是，与使用 VeRL Recipe 中的超参数配置相比，JF-HPO 的性能提升了 5.8% 到 111.6%。