设计遗忘：用于遗忘的深度半参数模型

机器去学习的最新进展集中在开发算法以从训练模型中删除特定的训练样本。相比之下，我们观察到并非所有模型都同样容易忘记。因此，我们引入了一系列深度半参数模型（SPM），它们在取消学习期间表现出非参数行为。 SPM 使用融合模块来聚合来自每个训练样本的信息，从而能够在测试时显式删除所选样本，而无需更改模型参数。根据经验，我们证明 SPM 在图像分类和生成方面实现了与参数模型竞争的任务性能，同时在遗忘方面显着更有效。值得注意的是，在 ImageNet 分类上，SPM 相对于重新训练的（oracle）基线将预测差距减少了 11\%$，并且与参数模型上的现有方法相比，实现了超过 10\times 的忘却速度。该代码可在 https://github.com/ameryzheng/spm_unlearning 获取。