论文
为少样本类增量学习筛选可迁移的生成内容
Learning to Curate What You Generate for Generalizable Few-Shot Class-Incremental Learning
摘要
少样本类增量学习(FSCIL)旨在从有限的注释中学习新的类,同时保留先验知识。现有方法通常假设有足够大的基础会话,但当基础数据和增量数据都稀缺时,这种假设就会失败,从而导致初始表示弱、语义漂移和边界不稳定。我们研究这种尚未充分探索但现实的设置,称为可泛化 FSCIL (G-FSCIL),其中基础会话本身仅包含几个类。尽管合成数据可以缓解监督稀缺性,但天真地混合生成的样本通常会引入语义噪声并加剧新旧边界冲突。为了解决这个问题,我们提出了一个框架,为稳定的 G-FSCIL 提供值得信赖的综合知识。具体来说,我们首先使用冻结的潜在扩散模型构建特定于类的合成候选池,其中在第一次观察时执行类反转,并将生成的条件嵌入重新用于按需生成。在这些候选者的基础上,我们学习了一种知识管理策略,该策略选择具有语义一致性和视觉多样性的样本,并在基础会话期间将该过程提炼为可转移的选择策略,然后在不进一步优化的情况下重复使用。利用精选的合成数据,我们进一步设计了边界稳定的增量适应方案,包括合成知情原型初始化和双向边界校准,以减轻新旧冲突。大量实验表明,我们的方法始终优于现有的 FSCIL 基线,减少了遗忘并改善了新旧类别之间的平衡。代码可在 https://github.com/NiHaoWoJiaoYYC/G-FSCIL. 获取
