论文

MePo++:统一表示优化与协调的通用连续学习方法

MePo++: Unifying Representation Refinement and Reconciliation for General Continual Learning

模型训练持续学习

摘要

通用持续学习(GCL)旨在从不断变化的数据流中学习,而无需任务身份、明确的边界或重复访问先前的数据,使其成为持续智能的现实但具有挑战性的环境。尽管预训练模型(PTM)为解决 GCL 的有限监督和非平稳性质提供了丰富的先验知识,但现有的基于 PTM 的方法通常直接采用预训练表示,并忽略了两个关键差距:上游预训练和下游持续适应之间的错位,以及模糊流下传统输出对齐的不可靠性。在这里,我们提出了 MePo++,一个统一的后训练框架,通过表示细化和协调来连接预训练知识和下游 GCL。 MePo++ 引入了两个互补组件:MetaPrep,它通过对伪连续序列进行无监督元细化来提高连续适应的表示可塑性; StreamAlign,它通过协调不断发展的在线特征与稳定的预训练几何体来增强表示稳定性。通过在适应之前提高表示可学习性并在持续学习期间保持一致性,MePo++ 使 PTM 能够保持新概念的可塑性和不断变化的流的稳定性。跨不同 PTM、数据集和持续学习基线的实验证明了 MePo++ 对于基于 PTM 的 GCL 具有一致的有效性和通用性。我们的代码可在此 https URL 获取。

MePo++:统一表示优化与协调的通用连续学习方法:论文配图
图 4:MePo++ 框架概述。 MePo++ 统一了部署前的表示细化和持续适应期间的表示协调。在第 1 阶段,MetaPrep 从未标记的预训练数据构建伪连续序列,并执行双层元细化以获得面向 GCL 的编码器以及稳定的表示几何先验,解决上下游错位问题。在第 2 阶段,StreamAlign 通过几何引导的重建和语义正则化将瞬态在线表示与稳定的先验进行协调,从而在不断发展的 GCL 流下保持可靠和有区别的表示。