词元预算 思想链模型中推理不收敛的饱和和机制早期检测

DeepSeek-R1-Distill-Qwen-7B 等思想链推理模型表现出双峰收敛模式：生成要么在 词元预算 内终止（收敛），要么耗尽它而没有得出结论（非收敛）。我们对这一现象进行了实证表征，结果表明，融合代在 AIME 1983-2024 上实现了 90.3% 的准确率，而非融合代仅实现了 6.6%，总体收敛率为 62.0%。然后我们询问这个结果是否可以在思维链的早期使用内部模型表示来检测到。在词元位置 50-300 处的隐藏状态激活上训练线性探针，我们发现词元 150 处的第 20 层激活达到了 AUC 0.608（+-0.080，5 倍 CV），即使在词元 50 处也可靠地高于机会。激活探针始终优于从词元熵和重复统计数据导出的行为基线。扫描级排列测试得出 p=0.063（100,000 个排列），与我们的样本量无法在传统阈值下确认的适度信号一致。这些发现表明，收敛命运在一代结束之前就已部分编码在中间表示中，从而为提前退出推理和自适应计算分配开辟了道路。