忘记那根棍子：量化——通过电路归因永久忘却

标准的忘却评估在训练后立即完全精确地测量行为抑制，尽管每个部署的语言模型都首先被量化。最近的工作表明，4 位 后训练 量化可以逆转机器遗忘；我们证明这不是一个调整人工制品，而是一个系统性的双重失败：基于梯度的方法可以实现有意义的遗忘，但在压缩下会丢失它，而在量化中幸存下来的方法几乎不会改变模型。这两种失败都可以追溯到相同的根本原因：在所有基线中，每个参数的更新比 NF4 量化箱宽度低 47-828 倍；分散在数十亿个参数中的更新无法清除量化箱边界，我们将其形式化为稀疏性与持久性的权衡。我们提出了 MANSU（机械对齐零空间遗忘），它通过结合因果电路归因来隔离最小遗忘集子图、具有对角费舍尔保留界限的电路限制零空间投影以及通过构造保证量化生存的每个参数幅度下限来解决这两种模式。我们还引入了电路归因分歧（CAD），这是一种区分结构擦除和行为抑制的机械验证指标，这是现有指标无法做出的区分。在多个模型系列和危险基准中，MANSU 是第一个同时满足所有四个属性（有意义的遗忘、保留保留、非正 PTQ 间隙和结构擦除）的所有四个属性的方法，而基于梯度的基线在压缩下恢复高达 +0.05 的精度。