揭示思想链推理的熵动力学

本文研究了思想链 (CoT) 的熵动力学，并揭示了一致的两阶段结构：探索的不确定性区域急剧过渡到收敛的置信区域。我们证明置信区域具有两个关键属性：1）高可靠性——置信区域中的答案变得高度准确和稳定，2）高冗余——模型在达到正确答案后很长时间内生成不必要的标记。这些属性解锁更高效、更可靠的推理策略：1) 早期退出利用可靠性和冗余在回报减少时安全地终止计算，2) 测试时间缩放使用置信区域信号来优先考虑收敛轨迹。为了将这些见解付诸实践，我们将置信区域检测制定为顺序变化点检测问题，这是第一个应用经典变化点方法来监控 CoT 推理的方法。使用累积和 (CUSUM) 算法（一种统计上最佳的变化点检测器），我们开发了用于实时推理控制的 无需训练 框架。实验表明，我们的方法为提前退出建立了优越的帕累托前沿。 CUSUM 的准确率达到了 63.06%，词元减少了 11.1%，准确率分别比 DEER 和 Dynasor 高出 3.28% 和 4.36%。对于测试时间缩放，CUSUM 加权投票始终优于自我一致性。