通过 Frozen Visual Transformer 中的电路复制进行推理路径优化，用于海洋物种分类

自动水下物种分类受到注释成本和环境变化的限制，从而限制了完全监督模型的可转移性。最近的工作表明，自监督视觉基础模型的冻结嵌入已经为海洋图像分类提供了强大的标签有效基线。在这里，我们研究是否可以在推理时改进这种冻结嵌入机制，而无需 微调 或更改模型权重。我们应用了电路复制，这是一种最初为 大语言模型 提出的推理时间方法，其中在前向传递过程中对 Transformer 层的选定范围进行两次遍历。我们在两种设置下使用冻结的 DINOv3 嵌入对类别不平衡的 AQUA20 基准进行评估：全局电路选择，其中为完整数据集选择单个重复电路；以及特定于类的电路选择，其中每个物种可能会收到不同的最佳电路。两种设置都使用简单的半监督下游分类器。电路复制持续改进了标准的冻结前传。在最大标签预算下，特定类别的选择达到 0.875 的宏观 F1，将与完全监督的 ConvNeXt 基准 (0.889) 的差距缩小到 1.4 个点，而无需任何基于梯度的训练。四个物种超出了完全监督的参考值，其中章鱼提高了 +12.1 F1 点。在所有预算中，大约 75% 的班级更喜欢针对班级的线路，这表明真正的班级相关利益。据我们所知，这是电路复制在计算机视觉中的首次应用。