无监督语义分割促进模型理解

自监督学习 (SSL) 产生了多样化的视觉景观 Transformer (ViTs)，其预训练表示支持广泛的下游任务。为了更好地理解这些模型，一系列工作评估了它们的自注意力机制以及通过它们的表示捕获的信息类型，揭示了例如对比学习（CL）和掩模图像建模（MIM）训练的模型之间的明显差异。然而，迄今为止，模型理解方面的所有进展尚未完全渗透到更大的社区，例如，特定于 CL 模型的见解有时仍会推广到 MIM 模型。为了使广泛社区的模型理解变得简单直观，我们提出了一种简单且易于解释的可视化协议。我们的协议基于可视化无监督语义分割结果，但我们绝不关注顶级分割性能。相反，我们的协议使我们能够轻松传达图像中一致出现的模型行为。我们的协议以跨层和表示的多种 SSL 模型为基准，使我们能够获得对不同位置偏差和缩放行为的新颖见解，包括 DINOv3-Large 模型词元中的强边界伪影。这些新颖的见解更容易传达一系列先前的发现。我们的协议进一步使我们能够在视觉上清楚地传达和区分位置效应和密切相关但独特的局部性偏差，后者在迄今为止的文献中得到了更广泛的研究。我们的协议是公开的，旨在促进广大社区进一步理解模型。