谁需要标签？使用已有的元数据调整 Vision Foundation 模型

我们提出了一种无标签方法，使强大但通用的视觉基础模型适应专门的科学领域。标准监督 微调 通常不适合这些设置：标签稀缺，特定任务的训练可能会破坏模型的通用性并损害稳健性。相反，我们利用元数据以自我监督的方式使表示适应新领域。我们的方法 FINO 将标准的自我监督目标与灵活的元数据指导相结合，可以处理高度粒度的离散元数据和连续元数据。它鼓励代表保留信息因素，同时抑制虚假因素。在亚细胞荧光显微镜、地球观测、野生动物监测和医学成像领域，FINO 始终优于标准的无监督域适应和完全监督适应。它还超越了高度专业化的特定领域的现有技术，同时不使用任务标签进行骨干适应，仅使用轻量级探针进行监督。