论文

基于冷冻基础模型嵌入的逻辑回归的标签高效水下图像分类

Label-efficient underwater image classification with logistic regression on frozen foundation model embeddings

模型评测模型能力评测

摘要

水下图像分类受到注释成本以及特定任务模型开发的计算和方法要求的限制。我们通过提取 DINOv3 ViT-B/16 嵌入并在 AQUA20 基准上仅训练逻辑回归分类器来研究冻结的通用基础模型嵌入是否可以减少这些要求。我们通过一系列注释预算、重复的 80% 训练子样本评估和全面训练改装来评估该方法。每个类别只有 13 个标记图像,相当于基准测试官方训练分区的大约 4%,平均宏 F1 达到 81.8%;每个类别有 144 个图像,它达到 88.5%,而已发布的完全监督的 ConvNeXt 点估计为使用完整训练集获得的 88.9%(报告的基准结果没有运行间变异)。使用所有官方训练标签,宏 F1 达到 91.5%(引导 95% CI:89.0-93.7%)。敏感性分析表明,主要发现在普通下游实施选择中保持稳定,并且在删除官方拆分审计中发现的重复和接近重复的测试图像后仍然存在。对第二个数据集的初步评估表明,整体性能水平和标签效率曲线的形状并不是 AQUA20 数据集所独有的。由于 DINOv3 主干保持冻结状态,并且仅安装下游分类器,因此该方法避免了特定于任务的神经网络训练,并且可以在商用硬件上执行。这些发现在冻结基础模型嵌入上建立了线性分类,作为标签高效水下图像分类的实用基线。