用于基于预训练模型的类增量学习的量子门控任务交互 知识蒸馏

类增量学习（CIL）旨在从任务流中不断积累知识，并在所有可见的类上构建统一的分类器。尽管预训练模型 (PTM) 在 CIL 中表现出了良好的性能，但它们仍然难以应对多任务子空间的纠缠，当任务路由参数校准不佳或任务级表示严格固定时，会导致灾难性遗忘。为了解决这个问题，我们提出了一种新颖的量子门控任务交互 知识蒸馏 (QKD) 框架，该框架利用量子门控来指导任务间知识转移。具体来说，我们引入了一种量子门控任务调制门控机制来对任务嵌入之间的关系依赖关系进行建模，动态捕获跨流任务的联合训练和推理的样本到任务的相关性。在量子门输出的指导下，我们在这些从旧适配器到新适配器的任务嵌入级相关权重的指导下执行任务交互 知识蒸馏，使模型能够弥合独立任务子空间之间的表示差距。大量实验表明，QKD 可以有效减少遗忘并实现最先进的性能。