什么才是良好的多语言推理？通过可测量的特征来解开痕迹

大型推理模型（LRM）在英语和其他语言之间仍然表现出巨大的性能差距，但当前的许多工作假设这些差距可以通过使每种语言的推理类似于英语推理来缩小这些差距。这项工作通过询问以下问题来挑战这一假设：多语言环境中成功推理痕迹的实际特征是什么，以及源自英语的推理功能在多大程度上真正对其他语言有帮助？我们首先定义一套可测量的推理特征，涵盖推理轨迹的多语言对齐、推理步骤和推理流程方面，并使用逻辑回归来量化每个特征与最终答案准确性的关联。我们进一步在多语言轨迹上训练稀疏自动编码器，以自动发现实例化或扩展这些特征的潜在推理概念。最后，我们使用这些功能对跟踪进行重新排序并测量它们对测试时准确性的影响。在两个数学推理基准、四种 LRM 和十种语言中，我们发现大多数特征与准确性呈正相关，但关联强度在不同语言中差异很大，甚至在某些语言中可能相反。我们的研究结果挑战了以英语为中心的奖励设计，并指出了适应特定语言推理模式的适应性目标，对多语言基准和奖励设计具有具体影响。