使用 CLIP 模型进行内存高效的持续学习

对比语言-图像预训练 (CLIP) 模型擅长理解图像-文本关系，但很难在不忘记先验知识的情况下适应新数据。为了解决这个问题，通常使用新任务数据和过去任务的内存缓冲区来微调模型。然而，当内存缓冲区较小时，CLIP 的对比损失会受到影响，从而导致先前任务的性能下降。我们提出了一种内存高效、分布稳健的方法，可以在训练期间动态地重新加权每个类别的损失。我们的方法在类增量设置（CIFAR-100、ImageNet1K）和域增量设置（DomainNet）上进行了测试，可以快速适应 CLIP 模型，同时最大限度地减少灾难性遗忘，即使内存使用量最少也是如此。