超越群的乘法：Transformer 电路中的分层傅里叶机制

Transformer 表现出了卓越的算法推理学习能力，但机械分析主要集中在全局可逆运算，例如循环加法和群组合。在这项工作中，我们研究了小型 Transformer 如何学习复合模上的模整数乘法，由于零除数的存在，这是一种基本上不可逆的运算。我们提出了幺半群扩展：通过表示（GCR）对组组成的局部概括，这表明学习的计算不依赖于单个全局表示空间。相反，该模型将输入空间划分为局部分层代数区域，其中类群结构得以保留，并且可以应用傅里叶机制。在接受无平方模乘法训练的 Transformer 中，我们发现嵌入围绕这些区域进行组织，注意力表现出类敏感路由和低秩写入方向，并且局部字符特征解释了模型输出 logits 的很大一部分。我们的结果表明，先前为群运算确定的表示理论机制可以扩展到群之外更通用的结构。