重新思考推理路径作为相结构轨迹

大语言模型通常通过生成多步推理路径来提高问题解决性能，但如何分析这些路径上的隐藏状态仍不清楚。现有方法通常为每个中间状态分配最终答案正确性标签，并在异构问题上训练探针。我们认为该协议以两种方式模糊了推理动态：（1）正确性预测可以利用问题级别的变化而不是路径质量，（2）由绝对步骤索引对齐的状态可能对应于推理的不同功能阶段。在这项工作中，我们建议将推理路径视为固定问题内的阶段结构轨迹。我们将此视图实例化为 PAIR，是“阶段对齐问题内推理”的缩写。 PAIR 对每个问题的多个轨迹进行采样，根据标准化轨迹进度将可变长度路径映射到共享的相对阶段，并仅在同一问题和阶段内比较成功和不成功的轨迹。这会产生特定于阶段的路径质量方向，从而更好地将路径质量信号与问题级别的变化隔离开来。根据经验，我们发现标准的跨问题正确性探针在问题内评估下失去了大部分预测能力，这表明这些探针部分依赖于问题级信息。 PAIR 改进了问题内轨迹排名以及跨模型和基准的 Best-of-N 轨迹选择。阶段性转向进一步表明，学习到的方向可以改变生成结果，提供因果证据表明它们捕获了轨迹相关信息。