论文

把潜思维链推理解读为动力系统

Interpreting Latent CoT Reasoning as Dynamical Systems

模型评测模型行为与机制分析

摘要

近期的潜推理方法(如CODI与COCONUT)面临根本的可解释性问题:它们在每一步的隐空间中维持多条叠加的候选轨迹,不像显式思维链那样遵循单条透明推理轨迹。既有机制性方法展示了压缩、捷径与叠加,却没有解释推理如何跨潜步骤演化。为弥合该空白,我们把潜token序列建模为表示空间中的轨迹,应用动力系统分析刻画推理演化:用步间变化、方向一致性与Lyapunov敏感性等定量度量,配合UMAP与DMD/PHATE等定性投影,我们显示潜思维链呈现结构化、非随机的动力学,含两个不同的稳定性类别——CODI表现为稳定吸引子,COCONUT表现为不稳定扩张系统;SIM-CoT监督收紧两者行为而不改变底层动力学。该框架推进潜思维链推理动力学的可解释性,并为改进潜推理表现提供可操作的洞见。

把潜思维链推理解读为动力系统:论文配图
图 1:潜在 CoT 的动态系统分析。 (1) GSM8K数据集。 (2) 四种模型配置 - Vanilla 和 SIM-CoT 设置中的 CODI(师生自蒸馏)和 COCONUT(隐藏状态反馈循环);辅助解码器强制执行结构化语义。 (3) T = 6 个潜在隐藏状态在表示空间中形成一条轨迹。 (4) 定量指标和定性预测。 (5) 代表性的潜在空间和动态可视化。