适可而止：《LLM》全面解析强化学习如何缓解任务冲突

模型合并在将多个专业模型合并为一个统一模型方面发挥着至关重要的作用，尤其是在 大语言模型 (LLM) 时代。最近的研究主要集中在开发策略来增强训练模型的合并性能，而监督 微调 (SFT) 和强化学习 (RL) 等训练范式对模型合并有效性的影响仍未得到充分探索。在本研究中，我们系统地探索了 RL 训练的 LLM 与传统 SFT 训练的合并行为。通过对五个代表性任务的综合评估，我们发现强化学习显着减少了任务冲突，并减少了合并后的性能下降，使得强化学习训练的模型特别适合这个过程。为了揭示强化学习对于模型合并的优越适用性背后的原因，我们进行了广泛的实证实验和理论分析。我们的研究结果强调了三个关键因素：（1）RL 中的 同策略 训练数据将梯度更新控制在较小的幅度内，从而降低了模型中其他任务覆盖现有知识的风险。 (2) RL 优化目标倾向于“\textit{足够好}”，随着模型收敛，逐渐减少冲突参数更新的幅度和数量。(3) RL 中正例和负例的联合优化将模型引向无偏的特定任务参数子空间，确保鲁棒性能，同时进一步防止参数冲突。