Loom：可扩展的分析神经计算机架构

我们提出了 Loom，一种计算机架构，它在循环的 Transformer 内执行从 C 语言编译的程序，其权重是通过分析得出的。该架构在 8 个 Transformer 层中实现了 22 操作码指令集。每个前向传递执行一条指令；迭代应用该模型，直到程序计数器达到零。完整的机器状态驻留在固定大小的单个张量 $X \in \mathbb{R}^{d \times n}$ 中，并且每个步骤对于固定的 $d$ 和 $n$ 都有固定的成本，与程序长度或执行历史无关。默认配置使用 $d = 155$ 和 $n = 1024$，产生 470 万个参数和 928 个指令槽。 $d = 146$ 和 $n = 512$ 的紧凑配置足以满足 9$\times$9 数独求解器（284 条指令）。权重与程序无关：程序存在于状态张量中，并且相同的固定权重模型执行任何编译的程序。我们在 https://github.com/mkturkcan/Loom 上公开提供 Loom 源代码。