MEDiC：来自 CLIP 的 蒸馏 的多目标探索

掩模图像建模 (MIM) 方法通常在原始像素空间（重建掩模补丁）或潜在特征空间（与预先训练的教师对齐）中运行。我们提出 MEDiC（来自 CLIP 的 蒸馏 的多目标探索），这是一个框架，通过三个互补的目标将两个空间组合在一个管道中：来自冻结 CLIP 编码器的补丁级词元 蒸馏、全局 CLS 对齐以及通过轻量级解码器的像素重建。我们围绕这个多目标框架对设计空间进行了系统的调查。首先，我们证明所有三个目标都提供了互补的信息，完整的组合在 ImageNet-1K 上达到了 73.9% 的 kNN 精度。其次，我们为进化掩蔽引入了具有相对位置偏差的层次聚类，并发现，尽管比以前的方法产生了更多语义连贯的掩蔽，但进化掩蔽在教师指导的 蒸馏 设置中并不优于简单的块掩蔽，我们将这一发现归因于教师固有的语义意识。第三，我们发现最佳标量损失权重极其脆弱，微小的扰动会导致 kNN 精度下降高达 17 个百分点。我们的框架使用 ViT-Base 在 300 个 epoch 时实现了 73.9% kNN 和 85.1% 微调 准确率。