论文

潜思维链(Latent Chain-of-Thought)的能力与根本限制

Capabilities and Fundamental Limits of Latent Chain-of-Thought

模型评测模型行为与机制分析

摘要

潜思维链(Latent CoT)模型有望经由连续表征实现高效推理,却表现出令人费解的性能不一致:擅长探索(ProsQA:97.0%)却在计算上失败(GSM8K:34.1%)。我们揭示这种权衡由决策确定性支配。我们的贡献有三:(1) 我们从理论上刻画了根本性的探索—执行权衡,证明高确定性使执行精确但抑制探索,低确定性利于搜索却导致误差累积。(2) 我们引入量化决策承诺的符号指数(Symbolic Index),作为支配这一权衡的核心机制,并确立其与执行稳定性和探索能力的因果关系。(3) 我们证明课程学习在理论上必不可少,直接训练因分布失配而注定失败。我们的框架把设计范式从二元架构选择转向依据任务需求动态调节决策确定性的自适应系统。

潜思维链(Latent Chain-of-Thought)的能力与根本限制
(b) ProsQA 任务上的 PCA 可视化。