PMTT分析冻结DINOv3图块表征中单token未暴露的信息

视觉 Transformer通过在一种观察条件下产生的标准 token 来表示每个图像块。该 token 是一个强大的接口，但它仍然是图像块的一种实现状态。我们引入了 PMTT，它建立了两个基础：图像块表示对象可以从一种标准状态扩展到以标准状态为中心的表示状态族，并且保留图像块身份的变化打开了图像块级局部特征空间。我们制定了这一表征研究方案的四个部分。图像块信息获取和密集轨道视图揭示了满足约束的同一图像块的不同状态。可见到隐藏的预测测试观察到的状态是否揭示了超出其自身的结构。内在结构分析可识别低维、能量集中、图像块特异且具有预测能力的几何结构。表示组织将获取更多信息与组织信息分开，以解析构建的流形作为中心结构化表示。我们在冻结的 DINOv3 S/B/L/H+ 主干上实现 PMTT，无需对表示进行神经后训练。在两个独立的 4,096 个锚点队列中，Manifold 解释了 70.8-79.6% 的隐藏变异，而直接观察状态的解释率为 55.0-72.3%，并且在每个尺度上都赢得了超过 95% 的锚点。有效秩从 2.5 左右下降到 2.0，而主导能量集中度随着主干规模的扩大而上升。在六种视觉能力和四种尺度上，Observed 在 24 个条件中的 21 个条件下超过了标准中心，Manifold 在 23 个条件下超过了 Center，Manifold 在 16 个条件下超过了 Observed。目前最强的结果出现在物理对应关系任务中，其中 MegaDepth 在每个尺度上都满足 Center < Observed < Manifold。这些结果表明，预训练的视觉主干包含比标准单 token 接口直接公开的更丰富的图像块信息。代码和实验资产可在 https://github.com/zixiongwang-ai/PMTT 获取。