冻结视觉基础模型中表征一致性的维度共激活

冻结视觉基础模型不仅仅提取特征；还提取特征。他们通过学习的坐标系组织图像。我们询问该坐标系在单个输入中是否保持内部一致。这导致了表征一致性：研究冻结的基础模型是否在其语义子区域中一致地表示一个样本。我们引入了维度共激活（DCA），这是一种用于测量这种相干性的每维度仪器。 DCA 通过询问相同的特征维度是否在语义区域之间共同激活来比较语义区域。与经典的相似性度量不同，它故意避免居中、L2 归一化和完全 Gram 耦合。这些操作在比较不同模型或分布时很有用，但它们与样本内设置不匹配，在样本内设置中，坐标系是固定的，原始幅度携带信号。 Deepfake 检测提供了一个自然的验证任务。合成面孔可以再现可信的眼睛、鼻子和嘴巴，同时打破真实面孔中连接这些区域的表征结构。使用冻结的 DINOv3 功能，DCA 暴露了这一突破：在 FF++ c23 跨数据集传输下，眼口鼻指纹在 CelebDF-v2 上达到 0.9106 AUC，在 DFD 上达到 0.9289。该设计还通过消融得到了尖锐的验证：重新引入居中使 CelebDF-v2 AUC 下降至 0.459，L2 归一化将其降低至 0.862，跨维度耦合将其降低至 0.478。最后，用 FaRL 替换 DINOv3 使 CelebDF-v2 AUC 下降至 0.582。因此，DCA 依赖于稳定的每维度坐标系，而不仅仅依赖于区域提取。这些结果将 DCA 定位为测量冻结基础模型中样本内表征一致性的工具，其中深度伪造检测作为第一个验证任务。