真实场景中的算术：Llama用十进制加法推理循环概念

摘要

表示中的结构意味着计算中的结构吗？我们研究Llama-3.1-8B如何推理循环概念（例如：“八月之后六个月是几月？”）。尽管Llama-3.1-8B对循环概念的表示呈环形结构，我们发现模型并没有在循环概念的周期内（例如月份为12）直接计算模加法，而是跨任务复用一个独立于概念特定几何结构的通用加法机制。首先，它用十进制加法计算两个输入之和（six + August = 14）。然后，它将该和映射回循环概念空间（14 -> February）。我们证明Llama-3.1-8B使用任务无关的傅里叶特征来计算这些和——事实上，这些特征的周期符合标准十进制加法，例如2、5和10，而不是循环概念的周期（例如月份为12）。此外，我们识别出一组稀疏的28个MLP神经元（约为第18层MLP的0.2%），它们在所有任务中被复用，并可划分为互不相交的簇，每个簇为具有不同周期的傅里叶特征计算求和。我们的工作凸显了因果抽象与特征几何之间的相互作用如何加深对语言模型（LM）的机制性理解。

真实场景中的算术：Llama用十进制加法推理循环概念：论文配图 — 图 5：从两个任务的共享子空间内的月份→\rightarrow 加法进行修补显示，Llama-3.1-8B 在第 18 层使用以 10 为基数的数字表示来表示循环概念（例如，从 8 月后的六个月修补到加法提示会导致模型输出 14，表明模型计算 6+8 作为中间步骤）。我们观察到令人惊讶的 +100 回波，其中预期总和有时输出为 114 和 14。 (a) 包括 +100 回波，这种干预导致 Llama-3.1-8B 在超过 60% 的示例中输出预测总和，而不会导致模型输出一个月。 (b) 我们观察到一条干净的对角线，这意味着模型此时区分了 9 月和 21 日（尽管它们最终都映射到 9 月）。我们在 App 中的其他循环任务中显示了类似的结果。 F。