电路，而不是电路：Mamba-2 状态接收器的非唯一因果定位

机械可解释性通常读取探针并将其顶部激活单元标记为执行计算的电路。我们在状态接收器上测试了 Mamba 的移动：Transformer 注意力接收器的选择性状态空间模拟，其中 Delta 门在边界词元（例如 BOS 和换行符）上不成比例地触发。在 Mamba-1 通道粒度上，探测器的单元具有因果效应。在 Mamba-2 头部粒度上，标签到基因座的链接以三种方式中断。因果集并不独特：一组几乎不相交的顶级激活头，几乎不共享任何专家，匹配或超过其消融效果。表示不跟踪功能：双头（占所有头的四分之一到三分之一以上）对 BOS 和换行符的响应相似，但不重现专家的因果关系。并且这种效应通过干预面而分离：扰乱探针读取的输入相关 Delta 会使损耗最多移动 0.16 nat，而抑制相同磁头的输出会使损耗移动 1.5 到 7.3 nat。头部在行为上仍然很重要，在两个旗舰检查点的 1024 上下文中，标尺式探针的针回收成功率从 30/30 下降到 0/30。因此，选择性状态空间模型中的代表性签名标记了行为上重要的耳机，而无需固定电路：单个探针恢复电路，而不是电路。