离散对数时钟：Transformer 如何学习模乘法

当小型 Transformer 进行模乘时，先前的工作报告称学习到的嵌入具有需要所有频率的“密集”傅立叶频谱。这与模加法形成对比，模加法中只有一组稀疏的关键频率就足够了。我们证明这种密度是在错误基础上分析的结果。用于乘法的自然傅立叶变换不是标准的加法 DFT，而是乘法字符变换，它将乘法群 $(\mathbb{Z}/p\mathbb{Z})^*$ 上的函数分解为其不可约表示。将此变换应用于在 $a \cdot b \bmod 113$ 上训练的 grokked Transformer，我们发现嵌入频谱变得高度稀疏（加性基础上的基尼系数为 0.58 vs. 0.07），只有 4 个关键频率携带大量能量。此外，96.9% 的 MLP 神经元被干净地调整到单个乘法频率，并且神经元激活热图在按离散对数重新排序时揭示了 2D 周期结构。这些结果表明，Transformer 将离散对数空间中的乘法减少为加法，实现了类似于 Nanda 等人的加法时钟算法的“离散对数时钟”算法。该方法概括为：将分析基础与任务的代数结构相匹配，揭示了标准工具看到噪声的可解释结构。