使用 Transformer 进行规划：计算链和结构化上下文窗口

大语言模型 (LLM) 在机器学习的许多领域产生了显着的影响。然而，最近的研究表明，他们很难可靠地解决规划问题。同时，理论结果表明，现代LLM的核心架构Transformer是图灵完备的。在这项工作中，我们研究了 LLM 的理论计算能力与其实证规划性能之间的明显差距。我们提出了计算链（COC），这是一种计算架构，它将基于 Transformer 的 LM 放置在迭代循环中，利用其作为模式匹配系统的优势。 COC 使用结构化上下文窗口 (SCW)，它提供了一个恒定大小的上下文窗口，支持选择在每个规划步骤中使用哪个窗口。在此架构中，LM 能够学习规划策略、预测世界模型并执行规划期间所需的算术运算。我们表明，当给定一个仅附加的 SCW（类似于图灵机磁带）时，即使是从头开始训练的相对较小的 LM 也可以学习规划策略并从每个规划域内的少量训练实例中进行概括，在 BlocksWorld 和 Pancake 难题上实现超过 99.89% 的成功率。我们对河内塔（TOH）失败案例的分析表明，它们是由算术运算或遇到以前未见过的词元引起的。我们证明，COC 可以解决具有多达 20 个磁盘的 TOH 问题实例，需要超过 100 万次操作，同时通过 (1) 通过算术的符号支持进行规划或 (2) 使用 SCW 的确定性下推自动机 (PDA) 公式，需要显着减少的训练数据。