重新安装探头：单向消融不是必要的测试

探针通常与干预措施配对：消融探针发现的方向，运行模型，并读取任务准确性的变化，以大的下降作为计算取决于探针读取的内容的证据，以接近零的下降作为计算不依赖于探针读取的内容的证据。任一推论都要求烧蚀已将目标从层中移除。我们发现消融并没有消除它的目标。在消融的激活上重新安装的探针在我们测试的每个单元中恢复了其原始精度，并且当探针的整个行空间而不是单个轴被删除时继续恢复，因为数量在正交补体中保留下来。由于重新安装的探针会恢复，因此无论是大的任务下降还是接近于零的任务都无法确定模型是否需要目标，并且一次探针安装即可检测到这一点。用迭代零空间投影代替消融，根据匹配维度的随机子空间进行评分，扭转了结论：看起来因果惰性的表示承担了大部分任务。校正还将变量最可读的位置与删除变量造成最大损害的位置分开，并且这些变量在我们研究的任何预训练模型中都不是同一层。擦除是由线性探针系列定义的，因此删除非线性编码量仍然是开放的。