LOKI：无记忆零空间受限终身知识编辑

终身知识编辑的目的是随着时间的推移，当新知识可用或模型出错时，高效、顺序地更新语言模型，同时保留过去知识的可接受的性能。一个未解决的挑战是现有方法修改了所有新知识样本的一组固定层，从而降低了灵活性并增加了灾难性遗忘。另一个是需要访问先前的知识和广泛的预处理以获得数据统计。为了应对这些挑战，我们引入了 LOKI，这是一种新颖的方法，它使用基于希尔伯特-施密特独立准则的动态层选择，并将梯度更新投影到模型权重的零空间上，绕过了先前知识访问的要求。我们表明，LOKI 在各种实验中实现了优于现有方法的性能，平均准确度提高了 14%。