将 Transformer 训练为通用计算机

我们证明了小型 Transformer 可以学习执行 MicroPy 中的程序，MicroPy 是一种简化但计算通用的编程语言。给定过程定义以及要评估的表达式，Transformer 使用 PENCIL 脚手架预测小步执行，以便在有界上下文窗口内节省空间的执行。在随机生成的、无意义的 MicroPy 程序上进行训练后，学习到的 Transformer 可以推广到各种人类编写的程序，包括位复制和翻转、二进制加法和乘法以及 SAT 验证和求解。我们注意到训练后的模型可以实现分布外泛化；即，评估节目分发中的新颖节目。由于 MicroPy 可以表达任何计算，因此我们的结果提供了经验证据，证明标准 Transformer 可以被训练为通用计算机。