论文

CloSeR:来自封闭式教师的统一关系 蒸馏,用于类别发现

CloSeR: Unified Relational Distillation from Closed-Set Teachers for Category Discovery

摘要

广义类别发现(GCD)是一个有趣的开放世界问题,已引起越来越多的关注:给定部分标记的数据,目标是正确识别已知类别,同时从未标记的样本中发现连贯的新类别。最近的 GCD 方法通常通过对混合标记和未标记数据联合优化监督分类和无监督发现目标来调整基础模型。虽然有效,但这种耦合训练可能会纠缠闭集识别和开集发现,导致客观冲突和有偏见的预测,并且可能会扰乱有限标签和嘈杂伪标签下预训练表示的语义几何。我们提出了 CloSeR,一个简单的即插即用框架,它将闭集关系知识注入到 GCD 训练中。 CloSeR 首先通过在标记的已知类数据上调整轻量级分块适配器来构建域适应的封闭集教师,同时保持基础模型主干冻结,从而以较低的训练成本保留预训练的先验。然后,它通过统一关系 蒸馏 (URD)​​ 将教师的知识转移到下游 GCD,它提取互补的全局样本到原型关系以锚定已知类语义和局部样本到样本关系以保留邻域结构,使用单独的特征路径来减少优化干扰。 CloSeR 与头部无关,并且很容易与参数和非参数 GCD 方法集成。在六个基准(CIFAR-10/100、ImageNet-100、CUB、Stanford-Cars 和 FGVC-Aircraft)上对 DINO 和 DINOv2 主干网进行的广泛实验表明,与 GCD 基准相比,其获得了一致的增益,实现了最先进的性能。项目页面:https://visual-ai.github.io/closer/