论文
InfoTaxa:用于细粒度视觉分类的信息校准无标签聚类
InfoTaxa: Information-Calibrated Label-Free Clustering for Fine-Grained Visual Taxonomy
摘要
冷冻预训练视觉嵌入的无标签聚类为生物多样性监测提供了一种可扩展的途径,但仅图像的细粒度分类法表现出一致的从粗到细的失败模式:聚类恢复了广泛的分类结构,但在物种水平上处于稳定状态。我们通过信息校准聚类分析在 BIOSCAN-5M 上研究这种行为。具有 UMAP 和 HDBSCAN 的 BioCLIP~2 特征在科上达到 AMI 0.79 美元,在属上达到 0.67 美元,比之前的图像基线有了显着改善,并在相同的冻结特征上保持与 oracle-$K$、基于图形和学习聚类头的竞争力。为了诊断剩余的平台是否受到方法限制或信息限制,我们引入了 InfoTaxa,它将聚类效率(由无监督分区恢复的探针估计图像信息的比例)与配对 DNA 结合起来,仅作为审核信号,而不是推理输入。密度管道分别恢复大约 0.90 美元和 0.81 美元的订单和家庭图像可用信息。保留的后期融合探针表明,将 DNA 添加到图像嵌入中可以将物种级预测误差减少大约两位。稳健性分析涵盖多个图像编码器、描述物种和稀有类子集、探针诊断以及保留物种粗排序概括和同物种检索。因此,在测试环境中,物种级无标签聚类既受到聚类限制,又受到表示限制:改进的聚类可以恢复额外的图像暴露结构,但不能单独缩小 DNA 审计的信息差距。