论文
激活空间顺序交换几何:站点不对称审核
Activation-Space Order-Swap Geometry: A Site-Asymmetry Audit
摘要
依赖于顺序的激活统计数据通常被解释为交互的证据,但这种解释可能会因干预进入网络的位置而混淆。我们引入了不合适地点不对称审核。对于二次可微的读数,开放路径顺序交换分解为由单次干预测量的规范加性响应和不具有一阶和纯自曲率项的反对称二阶差分到二阶。在六个开放权重语言模型家族中,单干预基线解释了括号范数的 84.3-97.7%(平均 93.7%),而无交互自曲率项比两个家族中正/负注入分裂的校正残差大 1.8-5.2 倍。校正后的残差在无混杂提示分裂下清除了六个系列中的三个中的通用交互空值,并在配置稳健性后清除了六个系列中的两个。已知的阳性替代物恢复了植入的混合相互作用,而匹配的位点分离测试改变了基线份额,随机架构再现了一阶状态。相同的估计器转移到发布的非语言参考:经过训练的残差分数在 11/12 对比(5/6 ViT-B/16、6/6 ResNet-50)中低于固定高斯方向零值,这是可移植性检查而不是汇总证据。贡献是一个可重用的测量标准:在将顺序交换向量读取为交互或几何结构之前运行单干预基线;如果它解释了向量,则形成第二个差分。所有声明的范围都针对不同地点的激活空间干预;我们并不声称表示几何是全局阿贝尔几何。