论文

支持运算分解:受控干预下冻结视觉编码器的组成读数

Support Operation Factorization: Compositional Readout of Frozen Vision Encoders under Controlled Interventions

模型评测模型行为与机制分析

摘要

冻结视觉编码器的成分分析应该确定发生了什么变化以及变化的位置。然而,标准因子探针分别对这些轴进行评分,并且可以奖励重复使用同一预测槽的多个操作。我们将这种失败操作称为洗钱。我们在支持 x 操作网格和 SO-OPF 上引入了一种单射对齐的留一细胞输出协议,SO-OPF 是一种将细胞能量因素纳入支持显着性和竞争性操作后验的读数。该公式分离了聚合分数合并的两个问题:当网格已知时,载体是否组成保留的结合,以及是否可以从平面单元标签中恢复该网格。利用冻结的 DINOv3 特征,已知阶乘分配在 Shapes3D-Extended 上达到 0.874 的单射精度,在全局图像不相交的 COCO 上达到 0.799 的单射精度;从平面标签学习分配分别达到 0.769 和 0.762。在 Shapes3D 上的匹配轴感知监督下,因子载体将密集载体的学习分配精度从 0.653 提高到 0.841,并消除了其清洗间隙。 SigLIP2 复制了 COCO 分离。重建的 MuJoCo 基底暴露了一个边界:DINOv3 的学习分配精度为 0.569,SigLIP2 的学习分配精度为 0.484,并且槽位严重塌陷。因此,因子读出和单射评估恢复了两个基板上保留的绑定,同时暴露而不是隐藏渲染器特定的故障边界;他们没有建立从平面标签的普遍回收。