ThinkRouter：通过在潜在与离散空间之间路由思考实现高效推理

近期工作探索潜在推理（latent reasoning），通过用潜在空间中的连续表示替代显式推理轨迹来提升推理效率，但其有效性因设定而异。对潜在推理下模型置信度动态的分析揭示，以错误答案结束的思考轨迹比以正确答案结束的思考轨迹包含更少的低置信度步骤。同时，我们提出，由多个低置信度思考备选聚合而成的软嵌入（soft embeddings）可能引入并传播噪声，导致不可靠的推理轨迹获得高置信度。受这些观察启发，本文提出ThinkRouter，一种推理时的置信度感知路由机制，通过避免高置信度与噪声实现高效推理。当模型置信度较低时，ThinkRouter将思考路由到离散词元空间，否则路由到潜在空间。在多个大型推理模型的STEM推理与编程基准上进行的大量实验表明，ThinkRouter在准确率上优于显式CoT、随机路由和潜在推理基线，Pass@1平均提升19.70分，同时生成长度最多缩短15.55%。进一步的综合分析揭示，ThinkRouter能够校准来自显式CoT与潜在推理的错误，并通过全局降低模型置信度加速思考结束词元的生成。