论文
主动 SAE 功能平面是否具有更多的完整性? 《杰玛》中预先登记的逆转
Do Active SAE Feature Planes Carry More Holonomy? A Preregistered Reversal in Gemma
摘要
本文测试了 Holonomy 是否集中于 Gemma 2 2B 中的主动稀疏自动编码器 (SAE) 特征平面,这是更广泛的语义集中预测的具体操作。通过使用仪器的受限雅可比传输规则在小环周围携带局部框架,然后通过封闭区域对所得旋转进行标准化,在最终词元第 12 层到第 13 层残余流读数中测量完整度。在检查分析的测量结果之前,预先注册并冻结设计、重要性阈值、分析和判定规则。该预测被相反地证伪了:活动特征平面比匹配的混合特征控制具有更少的完整性,调整后的对数对比度为-0.29439和95%间隔[-0.43989,-0.14889]。此设计不支持仅幅度解释,而随机、混合特征和活动特征平面之间的三向排序在匹配幅度上未定义,因为通用支持失败。相同读数的冻结后诊断支持小型验证子集的面积定律、简单配对回归下的有界匹配中心位移,并将传输畸变识别为实时机制或混杂因素。因此,结果是一种狭隘的、可审计的操作逆转,而不是意义抑制完整的因果主张。原因仍然悬而未决,激活强度几何、特征接合程度、字典几何、匹配中心位移、激活流形接近度和传输剪切作为实时替代方案。