论文
Miles：具有可扩展子空间的度量学习，用于基于预训练模型的类增量学习
Miles: Metric Learning with Expandable Subspace for Pre-Trained Model-Based Class-Incremental Learning
摘要
类别增量学习（CIL）旨在从数据流中持续学习新概念而不会忘记。与需要从头开始学习模型的典型 CIL 方法不同，预训练模型 (PTM) 可以使用 微调 轻松适应新任务。然而，现有的基于 PTM 的 CIL 方法未能实现性能和计算开销之间的权衡，即它们要么采用相同的参数空间导致灾难性遗忘，要么为每个任务扩展一个新的分支但增加更多的计算成本。为此，我们提出使用可扩展子空间（Miles）的 MetrIc 学习来利用预先训练的知识中的先验信息，从而通过引导优化来协调参数空间的有效扩展。具体来说，它将可学习模块与预训练模型解耦，利用主干网络中间特征的先验信息来实现更灵活的参数扩展。然后，采用中心损失来引导新类别向新任务子空间中的相应原型聚类，同时结合辅助距离正则化项以保持跨任务的度量平衡。对六个基准数据集的大量实验表明，Miles 在各种 CIL 设置中实现了最先进的性能。