论文
迭代擦除次数不是仿射不变的概念维度
Iterative Erasure Count Is Not an Affine-Invariant Concept Dimension
摘要
神经表示使用多少个方向来编码概念?常见的答案会重复删除探测方向并报告停止计数或累积删除排名。我们证明,这两个量都可以在信息保留可逆重参数化下发生变化,因此本质上都不是概念维度。我们将模型定义的总体数量(生成维度、足够的线性维度和最小保护等级)与过程定义的数量(例如停止计数和累积编辑等级)区分开来。在总体高斯构造中,可逆剪切保留了预测问题和所有三个量,但将累积欧几里德擦除计数从一更改为二。这种分离适用于 Moore-Penrose 普通最小二乘法和每个有限非负脊权。对于与我们的激励视频分析相匹配的双输出全 QR 程序,累积编辑等级类似地从 2 变为环境维度 4。相反,当其正定度量、探测、正则化器和打破平局一致传输时,完整的累积度量-QR 轨迹是仿射等变的;精确协方差是一个推论,而不是规范的语义度量。在已知秩有限样本 Adam/QR 校准中,身份混合在所有 20 次大样本运行中接受一次更新后停止,而每个测试的剪切 $a\in\{.5,.75,1,1.25,2\}$ 在所有 20 次运行中接受至少两次更新。冻结 V-JEPA2 特征的受控重新参数化保留了零秩预测,但在实际优化下改变了后来的欧几里得轨迹。这些视觉接触实验是压力测试,而不是接触尺寸的估计。因此,迭代擦除返回由表示几何和完整测量过程共同确定的过程相关估计量,而不是其本身的语义维度。