面具不是模型：审计注意力、状态空间和混合序列模型中的前缀不变性

混合序列模型必须满足前缀不变性：位置 t 的表示不得依赖于未来的输入，但这很少得到验证。我们形式化前缀不变性并进行轻量级审计，两次前向传递，没有训练或梯度，产生定位因果关系中断的每层分数。注意掩码检查（该字段的默认检查）是不完整的：因果关系是图形级属性，尽管掩码正确，但通过扫描、聚合或标准化可能会发生泄漏。在 8 个检查点的 192 个注入故障试验中，掩模检查没有检测到任何故障，而我们的审计将所有 192/192 个故障定位到了确切的层。对 Transformer 中分块扫描代码的静态/动态分析发现 Zamba2 和 Nemotron-H 中存在相同的缺陷，即通过参考实现修复了块间轴错误。该方法只需一页即可完成，并在几秒钟内运行。