DuLBE：面向视觉语言类别增量学习的双模式低秩更新

受益于可转移的视觉文本对齐，CLIP 已被广泛应用于类别增量学习（CIL）。然而，现有学习者要么重复更新跨任务共享的组件，导致知识覆盖，要么过度隔离新任务更新，阻碍 CLIP 可转移知识的重用并限制可塑性。此外，基于文本或双模态分类器设计仍然无法有效地整合来自视觉和文本模态的互补信息。为了解决这些挑战，我们引入了 DuLBE，它将双模式低秩学习与桥接原型集成分类器结合起来，以实现无需保存旧样本的类别增量学习。 DuLBE根据梯度需求分配两种视觉低秩更新模式，并使用梯度路由来协调它们：从历史占用的视觉方向中选择紧凑且可重写的共享模式以重用可转移的知识，而残差模式为特定于任务的变化提供低干扰通道。在由此产生的稳定的模态间结构的基础上，我们进一步在单位超球面上构建视觉原型和文本嵌入之间的测地线桥梁，并集成可靠的桥梁原型以补偿文本决策边界的模态间隙限制。多种设置下的大量实验表明，DuLBE 实现了最先进的 CIL 性能，同时保留了低秩调整的高参数效率。