通过持续视觉语言巩固的少样本域增量学习

现有的领域增量学习（DIL）策略需要大量数据来适应新领域，并且在数据稀缺的情况下会出现过拟合问题。考虑到 DIL 领域数据极度短缺的问题，本文提出了一个相对未知的问题，即少样本域增量学习（FSDIL）。提出了一种新的算法，即连续视觉语言合并（CVLC）来解决 FSDIL 问题，其关键思想在于基域中潜在空间保留的概念与双合并投影（DCP）相结合作为参数高效的 微调 方法。首先，校准视觉原型，同时通过LLM生成多个模板和同义词来归纳语言原型。视觉和语言原型是融合的。对永无休止的新域到来的适应是通过 DCP 技术完成的，并以这样的方式进行微调，通过在基域中提交的潜在空间预留来为未见过的域准备模型。 CVLC 在共享和特定领域的组件下构建，以结合一般知识和特定领域的细节。我们的方法的优势通过一系列基准问题以及与现有技术的比较得到了证明，其中 CVLC 的性能比现有技术高出 16%。我们的代码在 https://github.com/Naeem-Paeedeh/CVLC 中公开共享。