论文

为少样本类增量学习筛选可迁移的生成内容

Learning to Curate What You Generate for Generalizable Few-Shot Class-Incremental Learning

模型训练合成数据

摘要

少样本类增量学习(FSCIL)旨在从有限的注释中学习新的类,同时保留先验知识。现有方法通常假设有足够大的基础会话,但当基础数据和增量数据都稀缺时,这种假设就会失败,从而导致初始表示弱、语义漂移和边界不稳定。我们研究这种尚未充分探索但现实的设置,称为可泛化 FSCIL (G-FSCIL),其中基础会话本身仅包含几个类。尽管合成数据可以缓解监督稀缺性,但天真地混合生成的样本通常会引入语义噪声并加剧新旧边界冲突。为了解决这个问题,我们提出了一个框架,为稳定的 G-FSCIL 提供值得信赖的综合知识。具体来说,我们首先使用冻结的潜在扩散模型构建特定于类的合成候选池,其中在第一次观察时执行类反转,并将生成的条件嵌入重新用于按需生成。在这些候选者的基础上,我们学习了一种知识管理策略,该策略选择具有语义一致性和视觉多样性的样本,并在基础会话期间将该过程提炼为可转移的选择策略,然后在不进一步优化的情况下重复使用。利用精选的合成数据,我们进一步设计了边界稳定的增量适应方案,包括合成知情原型初始化和双向边界校准,以减轻新旧冲突。大量实验表明,我们的方法始终优于现有的 FSCIL 基线,减少了遗忘并改善了新旧类别之间的平衡。代码可在 https://github.com/NiHaoWoJiaoYYC/G-FSCIL. 获取

为少样本类增量学习筛选可迁移的生成内容:论文原图
图 1.我们提出的 G-FSCIL 与现有 FSCIL 框架的比较。顶行:在弱基础先验下,现有的 FSCIL 方法存在特征几何分散、新颖类插入不稳定以及严重的新旧重叠等问题。底行:我们的方法策划了值得信赖的合成支持来细化特征空间并稳定新类的插入,从而实现强大的增量适应。传统 FSCIL 和 G-FSCIL 的四面板比较。传统的FSCIL具有分散的基础特征,并且在插入新类后存在重叠。 G-FSCIL 使用选定的合成样本来澄清基础边界,并将新型原型放置在单独的区域中。