思想压缩链：理论分析

思维链（CoT）通过中间步骤解锁了大语言模型（LLM）的高级推理能力，却因生成额外token而产生高昂计算成本。近期研究经验性地表明，把推理步骤压缩进隐状态（即隐式CoT压缩）提供了一种节省token的替代方案。然而，CoT压缩背后的机制仍不清楚。本文首次对学习内化中间推理步骤的难度进行理论分析。通过引入Order-r交互，我们证明高阶逻辑依赖的学习信号呈指数衰减，使得在求解不可约问题时跳过中间步骤必然带来高阶交互障碍。为经验性地验证这一点，我们提出NatBool-DAG，一个旨在强制不可约逻辑推理并消除语义捷径的挑战性基准。在我们的理论发现指导下，我们提出ALiCoT（Aligned Implicit CoT），一个通过对齐潜在token分布与中间推理状态来克服信号衰减的新框架。实验结果表明，ALiCoT成功解锁高效推理：在保持与显式CoT相当性能的同时实现54.4倍加速。