几何演化图：从 Transformer 残余流中提取稳定概念探针

概念探针的可靠性取决于它所在的层。在固定的后期层或分离曲线的峰值处进行探测，忽略了概念如何形成的结构特征：探测方向在组装过程中大幅旋转，并且直到其形成的概念分配区（CAZ）之后才稳定下来。我们引入几何进化图（GEM）。 GEM 记录一个概念在一个 CAZ 段上的方向轨迹，在该段的最后一层获取确定的方向，并定位紧邻其之外的切换层 - 在其估计的窗口之外可以评估该方向的第一层。切换层是从段边界导出的，不是通过旋转标准检测到的。一个概念通常占据几个部分；我们称其为地图集。这种旋转在架构和概念类型之间是实质性的和一致的——是表示的属性，而不是估计工件。提取的方向是因果性的：尽管没有任何一个位点单独产生这种效应，但消融它比消融随机方向抑制的分离要多得多。旋转完成后的探测比旋转过程中的探测更精确；深度匹配控制表明这种优势来自于更深度的探测，而不是任何特定于切换边界的特权。少量结构化异常会被记录下来，而不是被忽略。因此，一个概念的图集（它的全套 GEM，而不是其中的任何一个）是该方法提供给下游使用的单元。 GEM 提供了本程序中 CAZ 验证论文所使用的消融靶向方法。