能量引导递归模型

递归模型在推理和语言任务方面显示出前景，但其测试时间缩放缺乏选择轨迹或确定循环深度的原则标准。我们引入\textbf{能量引导递归模型（ERM）}，它使用有效局部和全局结构的 Hopfield 型记忆来将内在能量分配给候选轨迹。这些能量指导候选者的选择，并提出有效的循环深度范围，这意味着更深的循环并不一定会提高推理准确性。它们还支持平行回火等采样方法来改善勘探。对于推理任务，ERM 在 Sudoku ($98.97\%$)、Pencil Puzzle Bench (PPBench, $88.04\%$) 和 Maze ($99.30\%$) 上实现最优解，达到递归建模的最佳精度。在语言建模方面，ERM 将 RedPajama-V2 的困惑度降低了 $1.74\%$，同时推理开销也很小。结果支持能量指导作为改进递归模型中测试时间缩放的实用框架。