数学推理中的顺序不变答案、顺序敏感表示

在不改变其含义的情况下对一组数学规则进行重新排序应该保留正确的答案，但模型的内部表示也必须保持不变吗？我们使用合成的多步函数组合问题来研究这个问题，每个问题都在多个规则排序下呈现，并具有相同的正确答案。我们测量准确性和排列信噪比 (SNR)，它量化了相对于问题实例的变化如何清楚地表示排序模式。在从 1B 到 8B 参数的 16 种语言模型中，我们发现了一种模式：更准确地解决重新排序问题的模型更清晰地表示不同的规则排序。在我们评估的每个合成设置中，层平均排列 SNR 与准确度正相关，Spearman 相关性达到 0.86。这些发现强调了答案不变性和表示不变性之间的区别：成功的数学规则组合可以伴随等效规则排序之间不同的内部表示。这激发了区分答案不变性和表示不变性，并提供了超越答案准确性的数学推理的表示视角。