前进一步，后退 K：使用去噪递归模型进行更好的推理

通过重复应用共享 Transformer 块，循环 Transformer 可以在不增加参数数量的情况下扩展计算深度，并且可用于迭代细化，其中每个循环并行重写完整的固定大小预测。在困难问题上，例如那些需要类似搜索计算的问题，从噪声开始达到高度结构化的解决方案可能需要很长的细化轨迹。当训练仅指定目标解决方案并且不提供对中间细化路径的监督时，学习此类轨迹具有挑战性。扩散模型通过用不同大小的噪声破坏数据并训练模型以在 \textit{单步} 中反转它来解决这个问题。然而，这个过程会导致训练和测试行为不一致。我们引入了去噪递归模型，这是一种类似地用噪声破坏数据的方法，但训练模型通过 \textit{multiple} 递归步骤来逆转破坏。这一策略提供了易于处理的中间状态课程，同时更好地将训练与测试结合起来，并激励不贪婪、具有前瞻性的一代。通过大量的实验，我们证明这种方法优于 ARC-AGI 上的微小递归模型 (TRM)，它最近在 ARC-AGI 上取得了突破性的性能。