表示未计算：Transformer 中候选算法中间体的因果测试

结构化提示需要根据任务相关关系集成组件。网络如何实现这种集成通常很难用语言或视觉来判断，这些关系很少被精确地指定到足以定义候选内部算法。算术提供了更清晰的设置。我们研究了一个经过基数提取训练的 Transformer：给定 $N$、$B$ 和 $D$，它必须报告 $N$ 的基数 $B$ 扩展中 $B^D$ 的系数。封闭式解决方案 $\lfloor N/B^D \rfloor \bmod B$ 提供了显式的候选算法中间体。在三个种子中，该模型在保留的数字交叉点上达到了 99.83% 的准确答案，建立了可靠的任务能力。线性探针对中间产物进行解码，使分阶段算术计算变得合理。然后，因果测试将表示与使用分开：在以 $D$ 作为输出位置输入的流的本地化路线内，行为取决于早期 $D$ 选择性通信，独立于 $N$ 和 $B$。与此相关的是，稀疏电路搜索发现的大多是独立的 $N$、$B$ 和 $D$ 路线，这些路线组合得很晚，而不是探测器建议的分阶段路线。因此，该模型表示使封闭式解决方案合理的中间体，但所识别的局部因果路径不会将它们传输到输出流。这个案例表明，即使有明确的算法假设，基于探索的结论也可能与因果观察结果大相径庭。