无需新信息即可改进路由探测：对模型输出之外的不确定性进行精确零审计

现代视觉转换器的路由信号——专家门、注意力剩余权重和停止分数——通常会改进预测模型是否正确的探针，并且这种改进通常被解读为路由携带了模型输出之外的错误信息的证据。我们直接测试这个推论：保留真实的输出路由对，我们从安装在不相交数据上的冻结的仅输出生成器中重新绘制正确性标签，以便路由在构造上不提供信息。在这个精确的标签空值下，宽度匹配的 MLP 比较仍然在 51.3% 的仅置信度评估 (308/600) 中报告路由增益，而线性比较则没有报告路由增益。将每个训练轨迹固定在六模型面板上，并通过验证日志损失而不是验证准确性来选择检查点，会删除检测（在独立实现的探针中为 50/120 到 0/120，以及 83/120 到 0/120），从而将基于准确性的检查点选择确定为原因；在所有输出视图中，原始检测率从 27.5% (528/1,920) 下降到零观察到的检测。修复后的比较并不敏感，在两个匹配设置中的每一个中，在 0/20 重复中检测到约 0.005 nat 的植入信号，而基于估计路由法则构建的条件排列测试在 11/20 和 10/20 中检测到该信号，并且很少在零值下拒绝。在真实正确性标签上，条件分析在五个 DeiT 注意力残差家族中产生了模型相关证据；在四个国家中，它仍然存在于有条件法的两个特定变体中，并且没有家庭通过额外的噪音标准。安装更好的探针和测试增量信息是不同的问题，每个问题都需要自己的验证。