潜空间思维链中的动力学：因果结构的实证研究

潜在或连续的思想链方法用许多内部潜在步骤取代了明确的文本基本原理，但这些中间计算很难在基于相关性的探测之外进行评估。在本文中，我们将潜在步骤建模为结构因果模型（SCM）中的变量，并通过逐步 $\mathrm{do}$ 干预来分析其影响，从而将潜在思想链视为表示空间中可操纵的因果过程。我们研究了数学和一般推理任务上的两种代表性范式（即 Coconut 和 CODI），以研究三个关键问题：（1）哪些步骤对于正确性来说是因果必要的，以及答案何时可以尽早确定； (2) 影响如何跨步骤传播，以及该结构与显式 CoT 相比如何； （3）中间轨迹是否保留竞争的答案模式，以及输出级承诺与跨步骤的代表性承诺有何不同。我们发现潜在步骤预算的行为不太像同质额外深度，而更像是具有非本地路由的分阶段功能，并且我们发现早期输出偏差和后期代表性承诺之间存在持续的差距。这些结果激发了模式条件和稳定性感知分析以及相应的训练/解码目标，作为解释和改进潜在推理系统的更可靠的工具。