论文
CUE:概念感知多标签扩展,以减轻长尾学习中的概念混乱
CUE: Concept-Aware Multi-Label Expansion to Mitigate Concept Confusion in Long-Tailed Learning
摘要
长尾分布在现实世界的识别任务中很常见,其中一些头类有很多样本,而大多数尾类只有很少的样本。最近,用于长尾学习的微调基础模型因其优异的性能而受到关注。然而,大多数现有方法仅专注于减轻长尾分布偏差,而忽略了长尾分布引起的概念混淆。在本文中,我们研究了这个问题,并将其归因于长尾分布下单标签监督的互斥性,它抑制了相关类之间的特征共享并放大了头类的主导地位,导致类间可辨别性被破坏。为了解决这个问题,我们提出了 CUE(概念感知多标签扩展),它引入了多标签概念信号来保留中断的类间关系。具体来说,CUE 通过(i)从零镜头 CLIP 中提取实例级视觉线索和(ii)使用 LLM 生成类级语义线索来构建概念集;这两个线索通过单独加权的二进制 logits-调整 (BLA) 辅助损失合并,并与基线 logits-调整 (LA) 损失联合优化。在多个长尾基准测试上进行的实验,CUE 实现了平衡且强大的性能,超越了最近最先进的方法。代码位于:https://github.com/zhangruichi/CUE。