CoT 用于推理的潜能：细察思维链踪迹动力学

思维链（CoT）提示是从大语言模型（LLM）引出类推理回应的事实标准技术，让模型在给出最终答案前逐步展开各步骤。尽管与人类推理的相似性不可否认，CoT 推理成功的内在驱动力仍大都不清楚。本工作对源自竞赛级数学题的 CoT 踪迹做深入分析，旨在更好理解 CoT 如何以及哪些部分真正贡献于最终答案。为此，我们引入“势”（potential）概念，量化 CoT 的给定部分在多大程度上提高正确补全的可能性。透过“势”考察推理踪迹，我们识别出惊人模式，包括 (1) 其常有的强非单调性（源于推理支线），(2) 非常尖锐但有时难以解读的尖峰（推理洞见与跳跃），以及 (3) 偶然的侥幸猜中，即模型在未提供任何相关论证的情况下得出正确答案。“势”的某些行为易于解读且符合人类直觉（如洞见与支线），另一些则从人类视角仍难以理解。为进一步量化 LLM 对推理洞见的依赖，我们研究 CoT 可迁移性：测量较弱模型在另一更强模型部分 CoT 下的“势”。与之前结果一致，我们发现仅 20% 的部分 CoT 就能“解锁”较弱模型在先前无法解决问题上的表现，凸显 CoT 底层机制的大部分是可迁移的。