论文
超越平面标签：分层细粒度视觉分类的级别限制对比学习
Beyond Flat Labels: Level-Restricted Contrastive Learning for Hierarchical Fine-Grained Vision Classification
摘要
多模态对比学习通过将图像与文本类别对齐来实现零样本视觉分类。然而，在分层结构的标签空间中，现有方法通常会产生跨分类级别不一致的预测。例如，模型可以预测一个细粒度类别，其父类别与其同时预测的更高级别标签相矛盾。通过分析，该问题源于当对比比较涉及多个分类级别时的假阴性标签。为此，我们建议将对比比较限制在同一分类水平内的类别。此外，我们采用群体平衡的设计，确保每个分类级别都得到充分的优化。因此，所提出的框架提高了从粗粒度到细粒度的层次一致性和分类精度。我们使用基于 BioCLIP 的 TreeOfLife-10M 训练我们的模型，并在多个层次分类基准上对其进行评估，其中该模型在欧几里德空间和双曲空间中表现出显着改善的层次一致性。值得注意的是，在 iNaturalist 2021 (iNat21) 上，我们的方法将跨级别的平均准确度比基线提高了 30.47%，凸显了其分层零样本分类的有效性。