论文

A*-Thought-V2:通过 LLM 的几何动力学进行高效潜在推理

A*-Thought-V2: Efficient Latent Reasoning via Geometric Dynamics of LLM

模型推理推理策略与问题分解

摘要

思想链 (CoT) 提高了 大语言模型 (LLM) 的推理能力,但会产生大量的计算和上下文成本。现有方法要么通过硬剪枝丢失中间信息,要么缺乏连续压缩的原则标准。我们提出了 A*-Thought-V2,一种 LLM 引导框架的几何动力学,它将 CoT 建模为隐藏状态轨迹,并用显式-隐式交错潜在架构取代硬删除。将问题、步骤和解决方案表示投影到 3D PCA 空间后,它会测量每个局部转换和全局问题到解决方案方向之间的一致性。对齐的步骤仍然是显式文本,而偏离的步骤则被压缩为连续的潜在标记。方向角捕捉局部语义和推理动态:小角度表示直接执行和答案形成,而大角度更频繁地涉及检查、纠正和分支探索;它们的时间变化揭示了探索、收敛和细化阶段。为了训练这种架构,我们引入了逐步嵌入强制(将每个冗余步骤汇集到单个潜在嵌入中)和标签强制(使用软多模态词汇分布而不是硬单热标签来监督潜在标记)。在 Qwen3.5-9B 和 Qwen3.6-27B 上的六个域内和域外基准测试中进行的实验表明,A*-Thought-V2 将平均准确度提高了 2.6%,同时将响应长度缩短了一半,将每个计算单元的准确度提高了 2.29$\times$,并将预处理和训练时间分别减少了 94.6% 和 80.3%。表示分析表明,潜在状态形成了一个与文本状态不同的紧凑区域,而潜在标记位置的较高熵反映了更广泛的软目标,鼓励更丰富的步骤级特征学习。