Transformer几何天文台TGO-I：光谱几何天文台

尽管 Vision Transformer (ViTs) 得到了广泛采用，并且在众多计算机视觉应用中取得了成功，但对其维度和表征几何的基本理解仍然相对不足。为了解决这一差距，我们引入了 Transformer 几何观测站 (TGO)，这是一个系统的实验和分析流程框架，旨在研究 Vision Transformer 的表征几何和动力学。 TGO-I 是该框架的第一部分，重点关注 ViT 表示的光谱几何。使用在 ImageNet-100 上训练的 ViT-Small/16 模型，我们在整个训练过程中分析有效秩、稳定秩、参与比、谱熵、谱平坦度、谱各向异性、协方差结构、特征谱和奇异值谱。我们的结果揭示了维度利用率的持续增加，伴随着各向异性的减少、谱熵的增加、参与率的增加以及特征谱的逐渐平坦。与训练应将信息集中到少数主导方向的普遍直觉相反，我们观察到跨表征维度的方差逐渐重新分布。这种现象在最终的 CLS 词元表示中尤其明显，它表现出网络内最高的有效维度和最低的各向异性。