用于视觉语言模型中持续学习的分层双子空间解耦

类别增量学习旨在不断获取新知识，同时保留以前学到的信息，从而减少灾难性遗忘。现有方法主要限制参数更新，但常常忽略它们在高维空间中的结构特性。从子空间的角度来看，不同任务引起的更新往往位于多个重叠的低秩子空间中，导致跨任务子空间干扰和严重的遗忘。为了解决这个问题，我们提出了 HDSD，一种分层双子空间解耦框架，用于视觉语言模型的持续学习。具体来说，我们引入了一个轻量级特征调制模块（FMM），它将参数空间显式分解为通用子空间和特定于任务的子空间。在此设计的基础上，我们开发了两个互补的组件。首先，通用融合模块（GFM）评估任务之间的相对参数变化，并使用自适应阈值来捕获稳定且可转移的知识。其次，分层学习模块 (HLM) 通过奇异值分解 (SVD) 执行结构化参数分解，并使用缩放机制来约束不同子空间尺度内的更新。这些设计共同减少了子空间干扰和参数漂移。对传统基准测试的大量实验表明，HDSD 取得了最先进的结果。