稀疏诅咒：从模型合并理解RLVR模型参数空间

带可验证奖励的强化学习（RLVR）已成为一种强大的 后训练 范式，在引发推理智能和抵抗灾难性遗忘方面超越了监督式 微调（SFT）。最近的研究进一步表明，与 SFT 相比，RLVR 会导致高度稀疏和偏离原理的参数更新。这自然提出了一个问题：这种稀疏性是否使 RLVR 模型更适合模型合并？如果是这样，模型合并将提供可扩展的 无需训练 路径，以聚合来自独立训练的 RLVR 模型的不同推理能力。令人惊讶的是，我们发现了相反的情况，揭示了稀疏诅咒：稀疏的 RLVR 更新在参数空间中分布得更远，形成近正交的捷径，使聚合本质上变得脆弱。这可能源于强化学习优化的随机性和涌现推理模式的多样性。与收敛到共享、平坦盆地并自然合并的 SFT 模型不同，RLVR 模型在标准合并方法下会遭受严重退化。通过对更新几何的系统实证分析，我们描述了这种失败背后的机制，并提出了敏感度感知解析合并（SAR-Merging），这是一种针对 RLVR 参数空间独特结构量身定制的合并方法。 SAR-Merging 通过基于 Fisher 信息的敏感性仲裁解决重叠更新区域中的冲突，然后进行幅度感知稀疏和重新缩放以保留脆弱的推理路径。数学和编码基准实验表明，SAR-Merging 大大优于 RLVR 模型上的现有合并方法，可实现单任务增强和多功能融合。