共享子电路让 LLM 跨任务倒计时

写一个恰好有十二个字的句子； DNA 序列在正确的密码子处结束；格式化 ASCII 表。这些都是语言模型可以完成的任务，需要跟踪目标之前剩余的标记数量。在这项工作中，我们在 Llama-3.1-70B-Instruct 中确定了执行这些任务的通用机制：一个“倒计时子电路”，它将当前位置与目标长度进行比较并估计到那时为止的剩余时间。我们首先在受控设置中隔离倒计时子电路，其中模型的任务是编写以指定单词结尾的固定长度句子。然后，我们研究了子电路使用的表示的几何形状，发现子电路使用了先前在单独任务的前沿 LLM 中识别的相同主题，因此表明该主题在模型之间共享。最后，我们在自然语言数据集上使用无监督探测来查找使用该子电路的各种其他任务，包括从上下文推断目标长度而不是明确说明的目标长度的任务。我们的工作表明，逆向工程子电路使我们能够理解行为如何从单个示例推广到许多不同的任务甚至模型。