CRoS以保内容的思维步骤打乱奖励强化因果有效推理

具有可验证奖励的强化学习（RLVR）已成为训练语言模型进行推理的标准方法。然而，RLVR 通常仅依赖于结果的正确性，这并不能保证 CoT 对最终答案有因果贡献。如果没有这种联系，结果奖励可能无法强化高质量的推理。现有的因果关系指标通过扰动 CoT 来评估 CoT 因果关系，例如删除推理步骤或注入错误，并测量最终答案的变化。然而，这些扰动不可避免地会改变每一步中的信息。因此，高因果关系分数可能反映了对扰动引入的信息变化的敏感性，而不是真正的因果关系。当这些指标被用作训练奖励时，这种混杂效应会进一步引发不良的推理行为，包括生成信息量较少的 CoT 以及减少探索和自我纠正。为了解决这个问题，我们提出了 CRoS（Scrambled CoT 因果关系奖励），这是一种新颖的 CoT 因果关系度量，它可以在不改变内容的情况下扰乱推理步骤的顺序，从而保留每个步骤中的信息。在 Gemma-3-4B 的 Reasoning Gym 上，CRoS 在域外准确性、CoT 质量和 CoT 忠实度方面优于现有因果关系和结果奖励。具体来说，CRoS 在五个未见过的逻辑和游戏数据集上实现了 46.8% 的准确率，超过了最强的基线 (43.8%)。它还实现了更好的 CoT 质量，在 K=1 到 128 的 CoT-Pass@K 中始终优于基线，平均为 43.4% 与 41.4%。对于 CoT 忠实度，CRoS 的提示确认分数为 34.0%，而基线为 20.2%。