接下来的想法是分布：潜在空间中的生成自回归推理

推理问题通常允许多种有效的方法来进行。连续推理有望将计算从语言标记转移到更紧凑的潜在空间，但代表几种合理的下一步思考方式仍然很困难。我们引入自回归思维流（ATF），它将下一个连续思维建模为多峰分布。因果自回归模型执行推理计算，而轻量级扩散头根据结果条件生成合理的下一个想法。采样的思想被反馈到模型中，允许连续推理以可变数量的步骤展开，同时保留预训练的主干。在数学推理任务中，ATF 通过紧凑的潜在痕迹提高了准确性，并受益于强化学习和额外的测试时思维。多样本评估显示出更广泛的解决方案覆盖范围，表明其多模态预测捕获了推理路径之间有用的多样性。我们的结果表明，当多个可能的下一个想法仍然可用时，连续推理比被分解为单个预测更有效。