虚假遗忘：可逆访问偏移与事实侵蚀的机制

语言模型微调时看似遗忘的知识常仍存储并可恢复，称为虚假遗忘。新事实微调甚至产生自行逆转的遗忘：旧事实回忆先崩溃，继续仅训练新事实时恢复，之后才永久侵蚀。我们研究何时不属灾难性。最小关联记忆以共享结构的键、集中新值和网络归一化重现动态。微调沿共同方向移动全部旧表征，在保留相对几何的同时遮蔽旧事实；学会新事实后归一化撤回偏移，而事实特异变化累积造成侵蚀。减去共同偏移可消除合成数据Transformer中的崩溃；从预训练语言模型每次权重更新移除一个方向能恢复旧事实。因此遗忘混合共享可逆访问丧失与个体事实慢性侵蚀，只有后者灾难性。哪种占主导，取决于新数据让旧记忆一起移动还是分散。