论文
表示轨迹很重要:OOD 检测和图像分类的补充证据
Representation Trajectories Matters: Complementary Evidence for OOD Detection and Image Classification
摘要
视觉模型不会立即形成表征;每个块都会对其进行修改。我们询问最终的计算路径是否包含最终表示丢弃的证据,以及该证据是否改进了干净数据和移位数据的 OOD 检测和图像分类。与将中间层视为单独快照的方法不同,我们保留跨深度的样本身份并研究连接连续状态的转换。我们将阶级一致的运输与特定投入的创新分开,并从关系重组中协调运动。在监督、自监督、视觉语言、分层和卷积编码器中,这些路径显示出跨数据集重复出现的强大的特定于样本的连续性和特定于架构的深度配置文件。它们也很有实际用途。仅 ID 的转换惊喜分数补充了强大的最终状态检测器,在平衡 OpenOOD 网格上的 131/152 非饱和比较中减少了 FPR95;对于视觉破坏性和语义远移,增益最大,并且对于大多数检测器来说,在接近 OOD 时增益保持正值。冻结的更新探针改进了 71/72 干净的模型数据集情况,而移位数据增益因架构和损坏类型而异。因此,计算路径提供了广泛有用的可靠性信号,其值由模型组织和遇到的转变共同确定。