论文

AREA:基于 CLIP 的类增量学习的属性提取和聚合

AREA: Attribute Extraction and Aggregation for CLIP-Based Class-Incremental Learning

模型训练持续学习

摘要

类别增量学习(CIL)对于构建现实世界的学习系统非常重要。在基于 CLIP 的 CIL 中,模型通过比较从模板提示获得的视觉嵌入和文本嵌入之间的相似性来执行分类,例如“[CLASS] 的照片”。这种看似单一的匹配过程可以分解为两个概念上不同的阶段:属性提取和属性聚合。例如,模型可以使用毛皮纹理和胡须等属性来识别猫。当学习汽车等新类别时,模型必须提取车轮等附加属性,并调整它们在共享表示空间中的聚合方式。然而,由于只有当前任务的数据可用,增量更新可能会使属性提取和聚合偏向新类,从而导致灾难性遗忘。因此,我们提出AREA用于基于CLIP的CIL中的属性提取和聚合。为了稳定提取,我们通过主测地线分析将类级视觉和文本属性锚定在超球面嵌入空间上。为了稳定聚合,我们学习具有评分和残差细化的轻量级特定任务专家,并通过变分信息瓶颈目标进行正则化。在推理过程中,我们通过最佳传输对任务属性流形执行路由,以实现更简洁的预测。实验表明,AREA 的性能始终优于 SOTA 方法。代码可在 https://github.com/LAMDA-CL/ICML2026-AREA 获取。