无需持续训练的持续学习

持续学习需要模型适应新领域和新类别，同时保留先前的知识。许多现有方法依赖于持续优化，使用正则化、重放或参数扩展来防止新的更新覆盖以前学到的知识。相反，我们建议用持续推理取代持续训练：基于 PFN 的模型经过元训练，然后冻结，仅通过扩展上下文证据集来适应新类别。我们的模型 Latent Concept PFN 在潜在概念空间上执行上下文贝叶斯推理，捕获跨域和类共享的语义结构。当每个新的领域或类到达时，样本就会被添加到内存中；适应反映了对潜在概念的更新的后验信念，而不是梯度更新。不改变任何参数，减少遗忘。相同的方法可以处理领域和类的增量持续学习，而无需任务标识。概念注释仅在元训练期间使用，充当潜在空间上的软锚点，而不是固定的锚点。 瓶颈。与固定词汇概念方法不同，该模型还通过将概念标签与原始输入证据相结合来处理嘈杂、模糊或不完整的注释，以发现预定义概念集之外的区别。对类和领域增量学习数据集的实验证明了在学习可解释的潜在概念时具有竞争性的持续学习性能。