论文
SPECTRA:用于完全少样本类增量音频分类的子空间保留嵌入校准、传输和重放
SPECTRA: Subspace-Preserving Embedding Calibration, Transport, and Replay for Fully Few-Shot Class-Incremental Audio Classification
摘要
完全少镜头类增量音频分类 (FFCAC) 需要从每个会话中仅少数标记的示例中识别新的声音类别,而不会忘记以前学习的类别,也无需任何大型基础数据集。现有的方法通常会冻结预先训练的音频语言编码器并使用点原型进行分类,但由于通用特征表示,它们在整个会话过程中会遭受显着的性能下降。我们提出了 SPECTRA,一个基于冻结编码器构建的框架,添加了三个组件。 (i) 一个轻量级可训练适配器,用于校准任务的通用嵌入; (ii) 子空间特征重放,一种无样本的防遗忘方案,通过从其存储特征的低秩子空间中采样来重放旧类; (iii) 测试时原型的传导最佳传输细化。我们的中心发现是,重放的子空间结构减少了遗忘,并且优于等方差的朴素高斯重放。在三个 FFCAC 基准(NSynth-100、FSC-89、LS-100)上,SPECTRA 提高了平均准确度并减少了对当前最先进方法的遗忘,并且我们的消融在统计上验证了每个组件。