论文
把潜思维链推理解读为动力系统
Interpreting Latent CoT Reasoning as Dynamical Systems
摘要
近期的潜推理方法(如CODI与COCONUT)面临根本的可解释性问题:它们在每一步的隐空间中维持多条叠加的候选轨迹,不像显式思维链那样遵循单条透明推理轨迹。既有机制性方法展示了压缩、捷径与叠加,却没有解释推理如何跨潜步骤演化。为弥合该空白,我们把潜token序列建模为表示空间中的轨迹,应用动力系统分析刻画推理演化:用步间变化、方向一致性与Lyapunov敏感性等定量度量,配合UMAP与DMD/PHATE等定性投影,我们显示潜思维链呈现结构化、非随机的动力学,含两个不同的稳定性类别——CODI表现为稳定吸引子,COCONUT表现为不稳定扩张系统;SIM-CoT监督收紧两者行为而不改变底层动力学。该框架推进潜思维链推理动力学的可解释性,并为改进潜推理表现提供可操作的洞见。
