潜在思维链中如何进行有效监督：信息论分析

潜在思维链 (CoT) 将推理内化在连续隐藏状态中，为冗长的离散推理轨迹提供了一种有希望的替代方案。然而，强大的潜在推理仍然很困难，因为结果监督提供了微弱的学习信号，并且使潜在轨迹容易出现语义漂移。在这项工作中，我们从信息论的角度分析潜在 CoT，并将这种失败识别为双重崩溃：沿优化路径的梯度衰减和潜在空间中的表征漂移。我们进一步将过程监督分解为两个互补的维度：轨迹监督（注入密集的逐步推理信号）和空间监督（保留潜在流形的语义结构）。我们的分析表明，严格的几何压缩会破坏推理空间，而生成重建提供了更灵活的语义锚，可以更好地保留信息容量。为了衡量这些影响，我们引入了统一潜在探针（ULP），它量化了潜在轨迹和显式推理步骤之间的相互信息。实验揭示了清晰的信息与性能的结合：推理的准确性取决于潜在链中保留的信息保真度。这些发现为潜在推理监督提供了一个原则框架，并建议从几何模仿转向互信息最大化。我们的代码可在 \href{https://github.com/EIT-NLP/Supervision-in-Latent-CoT}{this repository} 获取。