分隔符使进位传播变得可学习：乘法变压器中潜在进位的几何结构

要求在单次前向传递中乘以多位数的 Transformer 经常会失败，并且预训练语言模型的可解释性研究发现算术是通过输入范围启发式而不是通过显式进位来解决的。我们从头开始训练小型 Llama 式 Transformer，进行 4x4 乘法，无需思考，发现输入格式是决定性的：在数字之间插入空格token将精确匹配精度从 1% 提高到 89%。输出位置按进位链顺序学习，具有最长范围依赖性的中间数字最后学习。在模型内部，预测每个数字（其预测槽）的分隔符token将进位编码为残差流中环上的角度；具有更独特进位值的示例填充了更多的环。列总和上匹配的示例之间的激活修补表明，该状态在最后一层之前被因果使用：对于我们最佳模型的一个中间列，在第4块之后，仅修补预测位置就能在最高84%的样本中迁移源样本的进位，而对于其他列，进位首先在相邻答案槽处组装，然后再到达其自己的答案槽。其余错误几乎总是相差一位，与进位或循环数字代码上的小错误一致。