通过反事实评估理解长上下文基础模型中的稀疏注意力选择性

稀疏注意力广泛应用于长上下文服务堆栈中，但没有框架审核丢弃块如何改变特定内容对模型输出的影响。我们首先确定这种现象是真实且有因果关系的：跨四种架构的块稀疏闪存注意力（BSFA）路由重放改变了 16 个单元中的 13 个单元的输出决策，并且身份重放标签翻转为零。然后，我们使用匹配的探针卡引入密集校准的反事实审计——Gold（带有正确答案标签）、Poison（带有目标错误标签）和Benign（仅填充物）——在六布局位置对称下，隔离稀疏化特定的影响。两种模式相互竞争。信号集中：选择器保留的金块和毒块远远高于填充匹配的良性块（所有模型-任务对中的 G$\approx$P$\gg$B）。积分损失：丢弃块会切断跨块注意力——通过消融来确认，其中隔离探针块将其影响从 4.48 logits 压缩到零。压缩比决定了平衡：对四个模型-任务对进行从温和 ($c=0.25$) 到激进 ($c=0.75$) 压缩的全面扫描表明，四分之三的细胞在更高的压缩下朝着更强的稀疏放大方向发展，其中两个表现出符号反转。三个独立的分支——BSFA 路由重放、受控的 block-top-$k$ 和 KV 缓存驱逐——收敛：稀疏化改变内容影响的方式是聚合精度无法检测到的。我们提供了一个开放的测量框架，可部署在任何公开块身份的模型上。