零烧蚀夸大了 DINO Vision Transformer 中的寄存器内容依赖性

零消融——用零向量替换词元激活——被广泛用于探测视觉 Transformer 中的词元功能。 DINOv2+寄存器和 DINOv3 中的寄存器清零会产生较大的下降（高达 $-36.6$\,pp 分类，$-30.9$\,pp 分段），表明寄存器在功能上是不可或缺的。然而，三个替换控制——均值替换、噪声替换和跨图像配准混洗——保留了分类、对应和分割的性能，保持在未修改基线的 ${\sim}1$\,pp 范围内。每个补丁的余弦相似性表明这些替换确实扰乱了内部表示，而归零会导致不成比例的大扰动，这与它单独降低任务质量的原因一致。我们得出的结论是，零消融夸大了对精确寄存器内容的依赖。在我们测试的冻结特征评估中，性能取决于合理的类似寄存器的激活，而不是精确的图像特定值。然而，寄存器缓冲来自 \texttt{[CLS]} 依赖性的密集特征，并且与压缩补丁几何相关联。这些发现，包括替代对照结果，在 ViT-B 规模上重复。