TALON：把任务特定LoRA教师蒸馏为统一增量学习模型

少样本类增量学习 (FSCIL) 解决了从非常有限的样本中学习新类的挑战，同时保留以前学过的类的知识。尽管使用预训练模型的参数高效微调方法显示出类增量学习的前景，但在严重的数据稀缺情况下，严格的基于梯度的约束可能不可靠，而多专家方法可能会带来巨大的推理时间成本。我们提出了 TALON（具有集成知识转移的任务自适应 LoRA 教师），这是一种推理高效的 FSCIL 框架。 TALON 为每个增量任务动态分配一个独立的 LoRA-Teacher，以进行特定于任务的表示学习，然后通过 Ensemble Knowledge Transfer 将多个冻结的 Teacher 提炼为统一的 LoRA-Student，从而消除运行时模块选择或生成。语义引导的蒸馏策略通过特征空间相似性对教师的贡献进行加权，以减轻灾难性遗忘和过度拟合。在三个类顺序运行中，TALON 在四个 FSCIL 基准测试中实现了相当或更好的平均准确度，在 CUB200 上获得 86.68 +/- 1.22%，在 CIFAR100 上获得 90.39 +/- 0.27%，在 ImageNet-R 上获得 78.38 +/- 0.94%，在 miniImageNet 上获得 96.34 +/- 0.33%。 TALON 使用的部署参数减少了 33 倍，并将每个任务的平均推理时间减少至 26.7 秒，相对于 ASP 减少了 41.70%。