论文

GR4CIL:基于 CLIP 的类增量学习的间隙补偿路由

GR4CIL: Gap-compensated Routing for CLIP-based Class Incremental Learning

模型训练持续学习

摘要

类别增量学习(CIL)旨在不断获取新类别,同时保留以前学到的知识。最近,对比语言-图像预训练(CLIP)模型由于其强大的泛化能力而在 CIL 方面显示出强大的潜力。然而,现有方法仍然面临两个关键挑战:共享参数适应往往会导致旧知识漂移,特定于任务的知识组织通常会导致跨任务响应校准不佳,从而使可靠路由变得困难。为了解决这些问题,我们提出了 GR4CIL,一个结合了基于 CLIP 的 CIL 的任务区分和知识路由的框架。 GR4CIL 保留特定于任务的视觉知识,同时维护增量稳定的共享文本语义空间,从而减少任务之间的干扰。此外,我们引入了一种正交补偿机制,以减轻模态差距引起的偏差,增强任务内歧视,并扩大 真值 任务和竞争任务之间的分数差距。因此,GR4CIL 通过学习的知识实现更可靠的任务感知路由,同时保留零样本泛化能力。多个基准测试的实验表明,GR4CIL 始终优于强基准。