快速和慢速变分持续学习

持续学习仍然是现代深度网络的主要挑战，部分原因是常用的优化器缺乏持续适应的内在机制。其中一种自然机制是快速和缓慢的适应，以平衡稳定性和可塑性。这种机制在神经科学和生物学中有着深厚的根源，但对于如何最好地将其整合到常用的优化器中还没有达成共识。在这里，我们证明这可以通过 VCL 框架轻松完成，其中过去的后验被用作未来的先验。我们的关键思想是通过合并过去的后验来合并缓慢适应，以减缓学习过程中知识的漂移。然后将合并后的后验用作 VCL 更新中的先验以实现快速权重更新。这些步骤可以在 IVON 优化器中无缝实现，其形式和成本与 Adam 几乎相同。我们将这种新的优化器称为连续 IVON (CoVON) 优化器，并表明它不仅持续改进现有的 VCL 优化器，而且在域增量学习、连续 预训练 和 大语言模型 的 微调 中比其他权重正则化策略表现得更好。