一个适配器，多个任务：用于持续学习的任务条件特征转换

类增量学习 (CIL) 需要一个模型来增量学习包含新类的任务，而无需访问早期的训练数据，同时保留识别所有可见类的能力。最近，通过使用额外的轻量级可训练模块来适应冻结的骨干网，基于预训练模型的方法已经变得流行。然而，现有方法存在局限性：特定于任务的适配器学习显式的每任务表示，但参数和计算效率低下，而基于 LoRA 的合并方法将每任务 LoRA 参数组合到单个模型中，该模型的静态聚合权重在推理过程中会导致表示干扰。为了解决这些问题，我们提出了 \textbf{FACET}：任务条件 \textbf{F}e\textbf{A}ture 变换，具有 \textbf{C}ondition\textbf{E}d 特征一致性 \textbf{T}ency，在推理过程中产生高度判别性特征的同时，实现了出色的参数效率。当持续对任务序列进行训练时，FACET 会学习单个共享适配器，该适配器采用动态任务条件特征转换，将适配器的整体特征分布塑造成重叠减少的特定任务组件的混合。另一方面，我们提出了一种高效的无重放任务条件特征一致性损失，旨在减轻适配器特征空间中学习到的混合分布的灾难性遗忘。即使仅维护单个适配器，FACET 也表现出强大的可扩展性。在非常长的任务序列（例如 200 个任务）和标准的短任务序列（例如 20 个任务）上，我们的方法在使用显着更少的可训练参数和 GFLOP 的同时实现了卓越的性能。该代码将在接受后开源。