潜在推理方法在弱监督与强监督下表现如何？

潜在推理近期被提出为一种推理范式，它通过在潜在空间而非文本空间中生成步骤来执行多步推理。该范式通过在连续潜在空间中执行多步计算，使推理超越离散语言 token。尽管已有大量研究聚焦于提升潜在推理的性能，其内部机制仍未被充分研究。在这项工作中，我们对潜在推理方法进行全面分析，以更好地理解潜在表征在此过程中的作用与行为。我们在不同监督水平的潜在推理方法中识别出两个关键问题。首先，我们观察到普遍的捷径行为：它们在不依赖潜在推理的情况下取得高准确率。其次，我们检验了潜在推理支持潜在空间中类 BFS 探索的假说，发现虽然潜在表征可以编码多种可能性，但推理过程并未忠实实现结构化搜索，而是表现出隐式剪枝与压缩。最后，我们的发现揭示了与监督强度相关的权衡：更强监督缓解捷径行为，但限制潜在表征维持多样假说的能力；更弱监督允许更丰富的潜在表征，代价是捷径行为增多。